Bekijk Volledige Versie : Stroomonderhoud 20 oktober 2006 / 06:00 - Easynet (EuroAccess)
Het volgende bericht ontvingen wij van onze leverancier:
"Zoals u zich waarschijnlijk kunt herinneren is er in het Easynet datacentrum een stroomstoring geweest in de nacht van zondag 24 september op maandag 25 september. Het betrof een serie verkeerde zekeringen voor de stroom in onze ruimte waar alle apparatuur staat. Deze zekeringen hadden onvoldoende capaciteit waardoor de afgenomen hoeveelheid stroom niet behaald kon worden. Het gaat om zes zekeringen welke 160 Ampère moeten zijn, maar in de praktijk 63 Ampère bleken te zijn. Deze kapotte zekeringen zijn destijds per direct vervangen voor 160 Ampère zekeringen om het probleem op te lossen.
Helaas bleek het destijds onmogelijk om alle zekeringen te vervangen, waardoor er op dit moment nog steeds verkeerde zekeringen aanwezig zijn. Deze zullen aanstaande vrijdag om 06.00 `s ochtends worden vervangen. Tot onze spijt houdt dit in dat de gehele stroom gedurende ongeveer 15 minuten onderbroken zal zijn. Na deze onderbreking zal geleidelijk alle apparatuur weer aangezet worden."
The_cobra666
19/10/06, 09:17
Succes ermee :)
Keenondots
19/10/06, 10:06
Datum in topic verkeerd... 19 oktober 6.00u is 3 uur geleden.
wbakker-letsgoonline
19/10/06, 10:06
Ik neem aan dat de UPSen het overnemen tijdens deze actie ?
hostingpower
19/10/06, 10:11
Het volgende bericht ontvingen wij van onze leverancier:
Tot onze spijt houdt dit in dat de gehele stroom gedurende ongeveer 15 minuten onderbroken zal zijn. Na deze onderbreking zal geleidelijk alle apparatuur weer aangezet worden."
Dus geen UPS die het overneemt....
MediaServe
19/10/06, 10:14
Ik neem aan dat de UPSen het overnemen tijdens deze actie ?
Nuon --------- |
| ---- UPS ---- Zekeringen ---- Eindgebruikers
Generatoren -- |Er valt dus niks over te nemen door de UPS.
De stroom valt niet uit, er worden nieuwe zekeringen geplaatst.
Datum in topic verkeerd... 19 oktober 6.00u is 3 uur geleden.
ZUCHT ;)
20 oktober dus...
Wat een heerlijk tijdstip...
Laat ze vroeg hun nest uitgaan en dit soort acties rond een uur of 4 s'nachts doen... Tegen 6 uur begint meestal alles qua bezoeken en ophalen van mail weer op gang te komen.
Hopen dat de server fatsoenlijk opstart... :o
Onmogelijke tijd! Ik zou zeggen, doe het in de nacht van zaterdag op zondag, tussen 2 en 3 ofzo.
Nou ja, hopen dat ze up komen :(
Stefan Mensink
19/10/06, 11:09
Bedenk ook dat klanten van EA wellicht graag paraat willen staan om hun servers te controleren na de onderhoudsronde. Ikzelf sta liever vrijdag om 5:30 op, zodat ik de zaterdagavond kan doen waar de zaterdagavond voor dient...
Overigens verwacht ikzelf met zo'n tijdstip geen gezeur van onze klanten...
Hallo zeg, om 6 uur sochtends een kleine onderbreking van 15 minuten moet toch kunnen? Probleem zal toch opgelost moeten worden.
Wat moet dat moet zullen we maar zeggen...
Hopelijk gaat alles zoals het moet gaan en zal de downtime beperkt blijven!
E-Projects
19/10/06, 11:29
Hoe worden de servers afgesloten? netjes?
MediaServe
19/10/06, 11:31
Qua tijd kun je nooit iedereen gerust stellen. Je moet alleen begrijpen dat er ook zakelijke gebruikers zijn die geen systeembeheer hebben buiten kantooruren. Zodra het onderhoud is afgerond beginnen de bedrijven weer met een nieuwe dag en kan alles gecontroleerd worden.
Hoe worden de servers afgesloten? netjes?
Daarover is gecommuniceerd naar de klanten.
Servers worden indien mogelijk netjes afgesloten.
AlfaHosting
19/10/06, 11:35
Hallo zeg, om 6 uur sochtends een kleine onderbreking van 15 minuten moet toch kunnen? Probleem zal toch opgelost moeten worden.
Als het bij 15 minuten blijft wel. Stel dat er onvoorziene omstandheden zijn en alles gaat een paar uur plat ? Dan prefereer ik wel wat vroeger. Men zou dit inderdaad beter rond 2 a 3 uur doen.
Trans-IX B.V.
19/10/06, 11:36
Ik ben blij dat ik het hier te lezen heb gekregen, want wij hebben mooi geen e-mail gehad van EasyNet, ik zal zo eens bellen om te vragen hoe dat kan...
Ik vind het alleen wel een beetje vreemd dat ze het op vrijdag doen. Persoonlijk had ik het liever aan het begin van de week gehad. Straks boot er toevallig een server niet op en kunnen we in het weekend aan de gang. :(
E-Projects
19/10/06, 11:37
Qua tijd kun je nooit iedereen gerust stellen. Je moet alleen begrijpen dat er ook zakelijke gebruikers zijn die geen systeembeheer hebben buiten kantooruren. Zodra het onderhoud is afgerond beginnen de bedrijven weer met een nieuwe dag en kan alles gecontroleerd worden.
Daarover is gecommuniceerd naar de klanten.
Servers worden indien mogelijk netjes afgesloten.
Ik ben een klant van Mikej0h en daardoor vroeg ik me af anders kunnen er problemen onstaan.
MediaServe
19/10/06, 11:40
Ik ben blij dat ik het hier te lezen heb gekregen, want wij hebben mooi geen e-mail gehad van EasyNet, ik zal zo eens bellen om te vragen hoe dat kan...Op de schakelkast in kwestie is alleen Euroaccess aangesloten, jullie zullen er niets van merken. :)
Grappig dat ik als gebruiker geen enkele melding hier van heb gekregen, dus als ik dit niet had gelezen waren wij en al onze gebruikers dus offline en wisten we niets van een stroomonderbreking.
Top die communicatie tegenwoordig...
MediaServe
19/10/06, 12:01
Grappig dat ik als gebruiker geen enkele melding hier van heb gekregen, dus als ik dit niet had gelezen waren wij en al onze gebruikers dus offline en wisten we niets van een stroomonderbreking.
Top die communicatie tegenwoordig...
De mail is aan jullie kant overgekomen en gelezen hoor.
Dit is een bevestiging voor de e-mail die u verzonden hebt naar "Technotop" <xxxxxx@technotop.nl> om 18-10-2006 16:00
Deze bevestiging geeft aan dat het bericht is weergegeven op het scherm van de ontvanger om 18-10-2006 19:45
De mail is aan jullie kant overgekomen en gelezen hoor.
Niets ontvangen hier. :)
Niets ontvangen hier. :)Dat lijkt me stug.
In ieder geval, succes en hopelijk neemt het geen nieuwe problemen met zich mee!
@MediaServe,
In mijn mail stond dat we de servers zelf voor 5:45 konden afsluiten. Indien dit niet mogelijk was werd het voor je gedaan :)
Hopelijk krijgen we geen nieuwe problemen erbij. Er zijn nu genoeg downtimes geweest.
Onmogelijke tijd! Ik zou zeggen, doe het in de nacht van zaterdag op zondag, tussen 2 en 3 ofzo.
Nou ja, hopen dat ze up komen :(
Er is altijd wel iets VinceSTM, en helaas is er weer een downtime. Maargoed, hopen dat dit iniedergeval NOOIT meer voorkomt.
MediaServe
19/10/06, 13:06
@Sorce,
Dat is correct :)
@VinceSTM,
Bij netwerkupgrades en onderhoud kies je altijd het rustigste moment van de week, maar bij stroomonderhoud spelen er meer dingen mee. Mocht er een schijfje kapot gaan, dan moet je ook nog naar een winkel kunnen om een nieuwe te halen, etc
@Sorce,
Dat is correct :)
@VinceSTM,
Bij netwerkupgrades en onderhoud kies je altijd het rustigste moment van de week, maar bij stroomonderhoud spelen er meer dingen mee. Mocht er een schijfje kapot gaan, dan moet je ook nog naar een winkel kunnen om een nieuwe te halen, etc
Je moet altijd rekening houden met een stroomstoring, dus hardeschijven dien je dan ook altijd op vooraad te hebben.
6:00 is dan ook een zeer vreemde tijd, dit soort dingen doe je inderdaad rond 02:00/03:00 en niet om 06:00, mocht er iets fout gaan dan kan het nog enkele uren duren voordat er servers online komen.
Verder vreemde gang van zaken dat deze niet direct zijn vervangen op de betreffende avond/nacht.
euro-access
19/10/06, 14:30
hallo
6 uur s'ochtends is het rustigste moment volgens onze grafieken.
We hebben dit globaal bekeken.
Je moet iets doen om alle klanten tevreden te stellen.
daarom is voor 6 uur gekozen.
om 6 uur gaat de stroom er af dus iedereen heeft de tijd om voor 6 uur zijn of haar server af te sluiten.
Naar verwachting gaat de stroom om 6:15 weer aan.
Wij zullen dan nog een paar uur blijven om eventuele probleme op te lossen.
in het mailtje naar onze klanten staat een mail address waarnaar toe gemailed kan worden.
Je moet altijd rekening houden met een stroomstoring, dus hardeschijven dien je dan ook altijd op vooraad te hebben.
6:00 is dan ook een zeer vreemde tijd, dit soort dingen doe je inderdaad rond 02:00/03:00 en niet om 06:00, mocht er iets fout gaan dan kan het nog enkele uren duren voordat er servers online komen.
Verder vreemde gang van zaken dat deze niet direct zijn vervangen op de betreffende avond/nacht.
Treb, check de grafiek van AMS-IX eens:
http://www.ams-ix.net/technical/stats/
Wanneer is het het rustigst? Juist, om 05.00 - 06.00 uur. Ik verwacht niet dat de stats van EA veel afwijken. Uitgelezen kans om dan het onderhoud uit te voeren.
Gewoon een UPS in ieder rack hangen, heb ik ook.
Gewoon een UPS in ieder rack hangen, heb ik ook.
Vraagje, trekt jou UPS het 15 minuten? voor een full-rack?
Ik hoop voor iedereen (inclusief mezelf) dat alles weer netjes online komt, ik zet maar ff de wekker om 05:30
Keenondots
19/10/06, 17:52
Vraagje, trekt jou UPS het 15 minuten? voor een full-rack?
Denk het niet... een 3000VA (10A load) in XL (extended runtime) doet het 5 min onder full load, de niet-XL 3 minuten. Dus voor 15 min bij 10A heb je 9000VA nodig, even snel gerekend.
Nou nog een paar uurtjes, backups draaien hier nu op volle toeren. Hopelijk gaat alles goed met alle servers in het EuroAccess netwerk.
Same here. Back-ups runnen op volle toeren en straks maar hopen dat er niks brak gaat.
Stefan Mensink
20/10/06, 06:32
Zo, ik zit er klaar voor.
Alles is uit, nu maar afwachten of ze ook alles weer aanzetten. Zal je leren last state te kiezen i.p.v. always on. :(
Stefan Mensink
20/10/06, 06:53
Alles is uit, nu maar afwachten of ze ook alles weer aanzetten. Zal je leren last state te kiezen i.p.v. always on. :(
Ik neem aan dat men indien nodig nog wel even wat powerknopjes betast...
dns server offline, komt hopelijk netjes online zodra de stroom weer up is :)
en het moment is bijna daar
E-Projects
20/10/06, 07:05
nog ong. 10 minuten
Alles is uit, nu maar afwachten of ze ook alles weer aanzetten. Zal je leren last state te kiezen i.p.v. always on. :(
Mocht dat niet het geval zijn dan kun je met je leverancier contact opnemn, indien dit EA is dan zal het op het speciale e-mail adres het snelste gaan. Dan gaat er iemand handmatig je server(s) aanzetten. Vergeet in dat geval niet te zeggen welke server(s) het is/zijn.
... en toen werd het ook hier stil ...
Stefan Mensink
20/10/06, 07:22
Tja, wat mij betreft mogen die spijkers eruit en de zekeringen erin ;-)
Edit: voor de duidelijkheid, ik klets maar wat.
E-Projects
20/10/06, 07:23
... en toen werd het ook hier stil ...
Iedereen is bezig om alles aan te zetten;)
EDIT: Dit gaat fout lopen...Er zullen mensen zijn die server problemen krijgen.
Stefan Mensink
20/10/06, 07:27
Iedereen is bezig om alles aan te zetten;)
Nee hoor.. ik zit braaf te wachten tot het weer pingt...
Hier ook, helaas nog niks :).
inderdaad, alles plat...... Welk kwartiertje werd er bedoeld?
inderdaad, alles plat...... Welk kwartiertje werd er bedoeld?
Brabants kwartiertje :D
Stefan Mensink
20/10/06, 07:31
Je moet natuurlijk de apparatuur geleidelijk aanzetten en niet alles ineens. Wat dat betreft was een kwartiertje misschien ietwat optimistisch ingeschat.
E-Projects
20/10/06, 07:36
inderdaad, alles plat...... Welk kwartiertje werd er bedoeld?
:) 06.00 tot 06.15 zou het moeten duren.
zit te rammen op F5555555555555555555555
Stefan Mensink
20/10/06, 07:37
zit te rammen op F5555555555555555555555Dan heb je heel wat meer functietoetsen dan ik!
ben benieuwd, kreeg smsje dat er wat uitlag..
ik wordt hier een beetje moe van. had al geprotesteerd tegen het slecht gekozen tijdstip (in geval van problemen heb je maar een half uurtje voordat de klanten weer on-line willen). Dit is allemaal erg vervelend!
E-Projects
20/10/06, 07:44
ben benieuwd, kreeg smsje dat er wat uitlag..
Zou je wat uitgebreider kunnen vertellen?? wat ligt uit:eek:
En nu is het behoorlijk stil...
Zou je wat uitgebreider kunnen vertellen?? wat ligt uit:eek:
En nu is het behoorlijk stil...
van de monitoring dat een webserver van ons er uit ligt en tja het tijdstip, wellicht had Easynet hier ook een vinger in de pap bij.
Hoop dat het snel weer een teken van leven geeft.
Heb ff geduld mensen, het komt wel goed :) Beetje vertrouwen in de partij waar jullie bijzitten en het was natuurlijk gewoon bekend dat dit vandaag ging gebeuren. Het kwartiertje downtime was sowieso wel wat optimistisch, we liggen er ondertussen allemaal denk ik een 40 minuuten uit ondertussen?
mijn servertjes liggen ook nog steeds plat
Stefan Mensink
20/10/06, 08:02
Nou, wat mij betreft mag de stroom er wel weer op hoor.
Het zou toch maar een kwartiertje duren? Immers al een uur voorbij.
Het zou toch maar een kwartiertje duren?
niet echt realistisch want als ze die piek spanning zouden kunnen opvangen dan was de storing + onderhoud in eerste instantie nooit voorgekomen.
Nee ze hebben hier wel wat tijd voor nodig, zijn toch aardig wat servers ;).
E-Projects
20/10/06, 08:09
Het zou toch maar een kwartiertje duren? Immers al een uur voorbij.
Jup als het zo blijft duurt nog tot 8 uur wel...
dreamhost_nl
20/10/06, 08:10
Inderdaad... nu al 56 minuten aan het wachten...
Overigens is EA zelf ook nog "down"... da's wel weer een goed teken (als je het zo kan noemen)...
Stefan Mensink
20/10/06, 08:12
Inderdaad... nu al 56 minuten aan het wachten...
Overigens is EA zelf ook nog "down"... da's wel weer een goed teken (als je het zo kan noemen)...
Juist niet. Als e.e.a. al in delen up kwam dan wist je tenminste dat er voortgang in zit. Ik begin me nu toch een beetje zorgen te maken.
Edit: Overigens werkte tot voor kort de NOC nog gewoon.
AlfaHosting
20/10/06, 08:12
Pfff ... jammer dat ze gewoon de raad wat vroeger te beginnen in de wind sloegen. Dit is nu al meer dan een uur bezig. Ik had al een voorgevoel dat 15 minuten downtime wat optimistisch was. Dadelijk beginnen de telefoons weer te rinkelen. Dit had men echt om 2 of 3 uur in de nacht moeten doen. Niet echt professioneel.
VDE Hosting
20/10/06, 08:12
niet echt realistisch want als ze die piek spanning zouden kunnen opvangen dan was de storing + onderhoud in eerste instantie nooit voorgekomen.
Nee ze hebben hier wel wat tijd voor nodig, zijn toch aardig wat servers ;).
Een kwartie of een uur dat scheelt nogal.
Van mij mag de stroom er weer op.
Zo'n karwei lijkt het me niet om even wat nieuwe zekeringen te steken.
AlfaHosting
20/10/06, 08:14
niet echt realistisch want als ze die piek spanning zouden kunnen opvangen dan was de storing + onderhoud in eerste instantie nooit voorgekomen.
Nee ze hebben hier wel wat tijd voor nodig, zijn toch aardig wat servers ;).
Dan had men niet moeten spreken over 15 minuten als het niet realistisch was.
Pfff ... jammer dat ze gewoon de raad wat vroeger te beginnen in de wind sloegen. Dit is nu al meer dan een uur bezig. Ik had al een voorgevoel dat 15 minuten downtime wat optimistisch was. Dadelijk beginnen de telefoons weer te rinkelen. Dit had men echt om 2 of 3 uur in de nacht moeten doen. Niet echt professioneel.
Ik heb net al 3 telefoontjes gehad.
Dan had men niet moeten spreken over 15 minuten als het niet realistisch was.
Denk eerlijk gezegd dat iedereen wel wist dat het langer ging duren, maar na een uur nog geen zichtbare vooruitgang is wel een beetje veel inderdaad. Ik ga me ook rustig een beetje zorgen beginnen maken... Ze hadden het beter op zaterdag / zondagmorgen gedaan, want het is vandaag natuurlijk wel gewoon kantoordag.
AlfaHosting
20/10/06, 08:16
en het moment is bijna daar
Die uren op de WHT server staan blijkbaar verkeerd.
Stefan Mensink
20/10/06, 08:17
De gateway pingt weer!
Edit: en de switch ook, nu de servers nog
Hier werkt alles zo ver het lijkt.
Ook hier al terug alle servers de lucht in :)
EDIT:
op 3 na dan ...
E-Projects
20/10/06, 08:18
HEHEHEHEHHEHE eINDELIJK
We zijn Online :d (net)
Voor de duidelijkheid; hij maakt geen grapje, nu 7:17 krijgt mijn switch ook weer power!
En ja hoor we zijn terug volledig online :) Pak van m'n hart!
AlfaHosting
20/10/06, 08:20
Op één server na alles in orde.
Hier ook, nouja, dan maar geen voip vandaag. ;)
Hier voor de helft online, maargoed we zijn er weer!
AlfaHosting
20/10/06, 08:27
Op één server na alles in orde.
En de laatste is ook up *haalt opgelucht adem*
wordt ik om 7:15 uur wakker, is de server nog steeds down... ik ga kijken en piep-piep daar kwam om 7:18 uur het verlossende sms-je dat alles weer werkt!
maar da's geen brabants kwartierje meer nee, ben benieuwd wat er nu weer niet paste...
Stefan Mensink
20/10/06, 08:36
Nou, ik zit nog te wachten op de servers.....
Edit: en up!
AlfaHosting
20/10/06, 08:39
En de laatste is ook up *haalt opgelucht adem*
Vreemd, nu opnieuw één server down.
Vreemd, nu opnieuw één server down.
hier ook nog 3, maar de rest is wel up
dreamhost_nl
20/10/06, 08:45
Hier is gelukkig alles up gekomen...
Hebben maar gelijk gebruik gemaakt van deze mogelijkheid om de laatste kernel te installeren... ;)
everything up and running :)
Hier steeds eentje nog niet online, jammergenoeg :(
Dat sommige servers nog niet online komen snapt iedereen, kunnen wel gaan posten dat er nog iets down is, maar aar schieten we ook niet veel mee op en ja hier is ook nog veel down.
Ben zeer benieuwd wat er nu aan de hand was, 1 uur downtime.
E-Projects
20/10/06, 09:04
Dat sommige servers nog niet online komen snapt iedereen, kunnen wel gaan posten dat er nog iets down is, maar aar schieten we ook niet veel mee op en ja hier is ook nog veel down.
Ben zeer benieuwd wat er nu aan de hand was, 1 uur downtime.
Jullie heb toch wel alles netjes afgesloten??
Heb hier netjes alles afgesloten...had toch 5 machines die reanimatie nodig hadden.
Inmiddels alles weer up en running, met nieuwe kernels :)
Netjes afsluiten kan ook een degraded array opleveren (:()) hd's vinden het nou eenmaal niet leuk om te stoppen als ze dit normaal gesproken 24/7 doen.
Volgens mij zit er iemand met zijn routing te spelen...
From 193.138.220.222 icmp_seq=2 Time to live exceeded
From 193.138.220.222 icmp_seq=5 Time to live exceeded
From 193.138.220.222 icmp_seq=6 Time to live exceeded
From 193.138.220.222 icmp_seq=7 Time to live exceeded
From 193.138.220.222 icmp_seq=8 Time to live exceeded
From 193.138.220.222 icmp_seq=9 Time to live exceeded
From 193.138.220.222 icmp_seq=10 Time to live exceeded
From 193.138.220.222 icmp_seq=11 Time to live exceeded
From 193.138.220.222 icmp_seq=12 Time to live exceeded
From 193.138.220.222 icmp_seq=13 Time to live exceeded
From 193.138.220.222 icmp_seq=14 Time to live exceede
Alles hier nu totaal down...
En pas nu weer up.. server uptime: 7 min (dus pas weer aangegaan om 08:49) ...
En pas nu weer up.. server uptime: 7 min (dus pas weer aangegaan om 08:49) ...
Ze zijn nog druk bezig met alles up en running te krijgen, hier is nu alles weer online, alleen paar servers via uplinks van ons zijn offline.
Dus hier ben ik klaar, alles draait weer.
Tijd om een mailing te versturen.
wordt ik om 7:15 uur wakker, is de server nog steeds down... ik ga kijken en piep-piep daar kwam om 7:18 uur het verlossende sms-je dat alles weer werkt!
maar da's geen brabants kwartierje meer nee, ben benieuwd wat er nu weer niet paste...
'T is ôk ut Tilburgs Kwartierke ;-)
Hoop niet dat er ergens nog iets loopt te klapperen....
Oct 20 09:01:31 nomad kernel: e1000: eth0: e1000_watchdog_task: NIC Link is Down
Oct 20 09:01:34 nomad kernel: e1000: eth0: e1000_watchdog_task: NIC Link is Up 1000 Mbps Full Duplex
Oct 20 09:02:10 nomad kernel: e1000: eth0: e1000_watchdog_task: NIC Link is Down
Oct 20 09:02:17 nomad kernel: e1000: eth0: e1000_watchdog_task: NIC Link is Up 1000 Mbps Full Duplex
Oct 20 09:20:00 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Down
Oct 20 09:20:03 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Up 100 Mbps Full Duplex
Oct 20 09:20:09 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Down
Oct 20 09:20:10 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Up 100 Mbps Full Duplex
Oct 20 09:20:24 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Down
Oct 20 09:20:25 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Up 100 Mbps Full Duplex
Oct 20 09:20:38 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Down
Oct 20 09:20:48 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Up 100 Mbps Full Duplex
Hoop niet dat er ergens nog iets loopt te klapperen....
Oct 20 09:01:31 nomad kernel: e1000: eth0: e1000_watchdog_task: NIC Link is Down
Oct 20 09:01:34 nomad kernel: e1000: eth0: e1000_watchdog_task: NIC Link is Up 1000 Mbps Full Duplex
Oct 20 09:02:10 nomad kernel: e1000: eth0: e1000_watchdog_task: NIC Link is Down
Oct 20 09:02:17 nomad kernel: e1000: eth0: e1000_watchdog_task: NIC Link is Up 1000 Mbps Full Duplex
Oct 20 09:20:00 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Down
Oct 20 09:20:03 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Up 100 Mbps Full Duplex
Oct 20 09:20:09 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Down
Oct 20 09:20:10 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Up 100 Mbps Full Duplex
Oct 20 09:20:24 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Down
Oct 20 09:20:25 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Up 100 Mbps Full Duplex
Oct 20 09:20:38 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Down
Oct 20 09:20:48 nomad kernel: e1000: eth1: e1000_watchdog_task: NIC Link is Up 100 Mbps Full Duplex
Kleine storing in de routetable. Core 1 en 2 zijn beide één keer gerestart, waardoor nu alles weer moet werken. Vandaar de logs hierboven, eerst eth0 (core1) en daarna eth1 (core2).
Alles draait nu weer.
Zijn weer helemaal blij :)
Zijn weer helemaal blij :)
Op dit moment weer route problemen, packetloss etc. Beide coreswitches en uplinks ondervinden de zelfde problemen. Moet nu weer werken, echter nog wel packetloss. Word aan gewerkt.
Hier geen/tot weinig last gehad. Alles is gewoon 100% up and running.
Kon de server ook even bijkomen :p
Kon de server ook even bijkomen :pik krijg nu van die beelden van een server in een strandstoel met een glas koele icetea :D
plaatje:
ik krijg nu van die beelden van een server in een strandstoel met een glas koele icetea :D
plaatje:
Strak plaatje :D nee, zo erg is het niet, zou wat zijn zeg.
Maar goed, dit keer ging alles fatsoenlijk uit en weer aan, is een stuk gezonder dan de vorige keer :)
AlfaHosting
20/10/06, 12:26
Hier eentje de vernieling in .. nu die klanten op de backupserver zetten. Had men dit nu op een ernstig uur gedaan had geen klant het gemerkt. Flink balen dat een ernstig bedrijf dergelijk probleem gaat aanpakken om 6.00 uur in de ochtend.
Tsja, erg vervelend. Op zich had het wel iets vroeger gekunt, maar zeker niet veel eerder. De meeste professionele organisaties werken niet in het window van 02.00 tot 03.00 uur. ivm zomer- en wintertijd. Backups worden ervoor of erna gescheduled.
Daarbij komt dat rond 5 uur/6 uur echt het minste verkeer loopt. Natuurlijk wel vreemd dat het zo lang heeft geduurt.
AlfaHosting
20/10/06, 14:07
Tsja, erg vervelend. Op zich had het wel iets vroeger gekunt, maar zeker niet veel eerder. De meeste professionele organisaties werken niet in het window van 02.00 tot 03.00 uur. ivm zomer- en wintertijd. Backups worden ervoor of erna gescheduled.
Daarbij komt dat rond 5 uur/6 uur echt het minste verkeer loopt. Natuurlijk wel vreemd dat het zo lang heeft geduurt.
Elk uur vroeger is een gewonnen uur. Al iemand een uitleg waarom het in de eerste plaats langer geduurd heeft dan aangekondigt ?
Is er nog iemand in Easynet aanwezig die voor mij een servertje een trap kan geven, scheeld mij weer een ritje vanuit Zeewolde?
(een van de weinige machines die niet aan de APC zit :()
/me verbaast zich over het ge-emmer qua tijdstip.
Dit tijdstip is klant A niet blij mee.
Een ander tijdstip is klant B niet blij mee.
En de verklaring daarbij van EA, dat dit het rustigste tijdstip is vind ik een goede onderbouwing om 't op dat tijdstip te doen.
Is er nog iemand in Easynet aanwezig die voor mij een servertje een trap kan geven, scheeld mij weer een ritje vanuit Zeewolde?
(een van de weinige machines die niet aan de APC zit :()
Ik ben er morgen om 11:30, maar da's waarschijnlijk een beetje laat. ;)
/me verbaast zich over het ge-emmer qua tijdstip.
Dit tijdstip is klant A niet blij mee.
Een ander tijdstip is klant B niet blij mee.
En de verklaring daarbij van EA, dat dit het rustigste tijdstip is vind ik een goede onderbouwing om 't op dat tijdstip te doen.
Downtime komt nooit goed uit.
Wanneer de een weinig verkeer heeft, kan een ander (relatief) veel verkeer hebben.
Ik denk dat EA zelf een goede stap heeft gemaakt door naar de algemene stats te kijken.
Dat het verder ook niet de schuld is van EA dat dit tafereel is gebeurd is natuurlijk duidelijk. Feit is wel dat het niet had mogen gebeuren en dat ik ook dit keer benieuwd ben waarom het zo lang duurde.
Ik ben dan ook erg benieuwd naar de reactie van EA waarom het langer duurde dan gepland. Wel denk ik, dat de mensen van EA en MediaServe keihard hebben gewerkt om de downtime te beperken, en dat terwijl beide partijen dit niet facturabel maken maar zien als 'verlenen van een dienst'.
PS: Nog iemand in DC voor een rebootje? :)
Ik ben er morgen om 11:30, maar da's waarschijnlijk een beetje laat. ;)
Da's prima, als jij die bak dan wilt resetten ben je me held... :)
Voeg me aub even toe op MSN voor details voor rack: mike [at] perfect-id.com.
MediaServe
20/10/06, 15:16
Ben net weer thuis, afgelopen 30 uur maar één uurtje geslapen. Maar het resultaat mag er zijn, alles is goed gegaan :) Dat die engineers van Imtech liggen te slapen en het zo lang duurde, daar kunnen wij helaas ook niets aan doen.
Weltrusten en prettig weekend :D
Ben net weer thuis, afgelopen 30 uur maar één uurtje geslapen. Maar het resultaat mag er zijn, alles is goed gegaan :) Dat die engineers van Imtech liggen te slapen en het zo lang duurde, daar kunnen wij helaas ook niets aan doen.
Weltrusten en prettig weekend :D
Me vader was inderdaad wat laat zijn bed uit vandaag :p Die werkt toevallig ook bij imtech :p
MediaServe
20/10/06, 20:25
Het was trouwens een beetje dom van ons om de SMS monitoring aan te laten staan. Ruim 200 SMS berichten verzonden voordat het krediet op was :(
Het was trouwens een beetje dom van ons om de SMS monitoring aan te laten staan. Ruim 200 SMS berichten verzonden voordat het krediet op was :(
Ja dat is een beetje zonde, maar er zijn ergere "fouten" denk ik ;)
En? Voelde jij je ook populair na zoveel berichten? :D :p
Goed deze kan weer dicht, onderhoud is achter de rug.