Bekijk Volledige Versie : Evoswitch / Leaseweb hall 2 problemen
hallo iedereen,
Hierbij de sitecheck:
http://www.webhostingtalk.nl/quicktest.php?action=result&qtid=528327&r=1505
Ondervinden jullie ook problemen op hal 2?
Aantal van mijn websites zijn niet meer te benaderen.
Op support vragen krijg ik op het moment ook geen automatische replay dat ze de melding hebben ontvangen.
groetjes,
Michael Jonkers
Stroomstoring (http://bit.ly/k44Gej) in Datahal 2
hier anders nog niet... en ook volgens leaseweb's noc nog niet.
m.i. inmiddels een routing probleem, omdat eea vanuit leasewebs eigen netwerk prima bereikbaar is en ik extern allemaal timeouts krijg.
Hier is alles weer up al een tijdje. Zal idd dan een routing probleem moeten zijn?
Is ook een deel van datahal 2 geweest, want onze servers zijn niet onderuit geweest.
Onze ns2/fallback MX server hangt als het goed is ook in hal 2, is van 06:18:34 tot 07:21:34 uur down geweest maar niet gereboot volgens het uptime commando:
[root@ns2 ~]# uptime
08:33:00 up 472 days, 16:52, 2 users, load average: 0.62, 0.21, 0.07
Kreeg van onze colo leverancier wel weer een email dat er een stroomstoring is geweest.. heb dus maar even nagevraagd hoe dit zit :)
Edit:
Hun antwoord: Klopt. Niet ieder rack is getroffen door de stroomonderbreking, maar de netwerk verbinding van het rack naar de routers wel.
volgens leaseweb support ticket zou alles opgelost moeten zijn.
Kreeg net een mailtje binnen
We experienced a partial power outage in Evoswitch Hall 2. The power has
been restored and everything should be coming back online now.
If not, please reply back with server ID(s) and we will investigate this as
soon as possible.
lijkt dus volgens leaseweb opgelost.
Onze ns2/fallback MX server hangt als het goed is ook in hal 2, is van 06:18:34 tot 07:21:34 uur down geweest maar niet gereboot volgens het uptime commando:
[root@ns2 ~]# uptime
08:33:00 up 472 days, 16:52, 2 users, load average: 0.62, 0.21, 0.07
Kreeg van onze colo leverancier wel weer een email dat er een stroomstoring is geweest.. heb dus maar even nagevraagd hoe dit zit :)
Edit:
Hun antwoord: Klopt. Niet ieder rack is getroffen door de stroomonderbreking, maar de netwerk verbinding van het rack naar de routers wel.
Klopt idd. Is een gedeeltelijke storing geweest. Hier ook enkel de routers down en racks gewoon up. Voorste gedeelte schijnt geraakt te zijn van DH2. Andere hallen weet ik niet.
PimEffting
03/05/11, 11:58
Wij hebben hier helaas ook last van gehad. Gelukkig viel de impact mee en was het tijdstip gunstig (vroeg in de ochtend), vrijwel alles kwam weer online.
Wel weer een ochtend verziekt met alles controleren e.d.
(we zitten overigens in de EX-reeks in hal 2)
Thijsvdbrink
03/05/11, 12:38
Wij zitten er ook, lastig verhaal dat je redundant -alles toch uitvalt.
Toch maar een eigen UPS op elke redundant powerfeed installeren. (en ja, die sluiten we dan elk ook weer dubble aan, om UPS failure gedoe t e voorkomen)
Toch maar een eigen UPS op elke redundant powerfeed installeren. (en ja, die sluiten we dan elk ook weer dubble aan, om UPS failure gedoe t e voorkomen)
dan was je connectivity alsnog weggeweest...
Beter je connectivity weg dan een complete power failure. In geval van die laatste heb je ook nog eens kans op dataverlies. Zelfs met BBU's heb je altijd een klein risico, omdat je OS vaak ook write caching enzo doet. Elke vorm van write cache uitzetten is natuurlijk de beste oplossing, maar kost heel veel performance.
Thijsvdbrink
03/05/11, 15:54
Connectivity weg? als de uplink switches buiten onze kast down zijn wel, maar dit is inderdaad minder erg dan vanalles en nog wat moeten herstarten.
Dit is wel weer een goede test geweest on te zien of alles wel netjes opstart, en de monitoring alles ziet wat er gezien moet worden.
Alles draait weer, maar het moet een rustige maand worden om nog aan onze SLA's te kunnen voldoen.
Connectivity weg? als de uplink switches buiten onze kast down zijn wel, maar dit is inderdaad minder erg dan vanalles en nog wat moeten herstarten.
Wij hebben het in een bepaald datacenter vaker meegemaakt dat de provider geen enkele redundante voorziening had om de netwerk apparatuur van stroom te voorzien.
Eigen core netwerk netjes met UPS in rack om uitval van een groep geen uitval van hele colo te laten zijn, maar "upstream" gingen ze telkens down.
In het geval van evo moet je dan hopen dat je uplink nog wel aan is als de hal uitvalt, anders is de rack UPS ook voor niets.
Het klopt inderdaad wat Jeroen eerder zei. De Racks tot de DV rij waren getroffen. Dit is iets van 1/6 van de gehele hal. Inmiddels een verklaring van Evoswitch.
Dear customer,
Herewith we provide you with a preliminary RFO statement for the power disruption in data hall 2 as occurred early this morning.
At 06:12 hrs the mains power, supplied to Evoswitch by Liander, failed. Immediately all UPSs switched over to battery operation and gave the signal to the generators to start. For data halls 1, 3, 4 and 5 this process went smoothly and according to specification. For data hall 2 this process failed, resulting in a power outage on the no-break power feeds of data hall 2.
The batteries of UPS 2 were empty before the generator was running which put UPS 2 in a state that, due to the high power levels, required a manual intervention to push it back in to no-break operation.
The authorized on-call electric engineer, required to make the intervention, arrived at the data centre on 07:00 hrs. On 07:12 hrs UPS 2 was manually forced to no-break operation after which the power to data hall 2 was restored.
To avoid such events in the future we will initiate the following actions:
1) More frequent battery testing. Currently this is performed once per year and will be done once per half year.
2) The manual trigger required to push the UPS to no-break operation after a battery failure will be taken out and set to automatic.
3) We will replace all batteries of UPS 2 within the next 24 hours.
4) A new maintenance scheme will be developed and deployed for our batteries to minimize the risk of an outage due to battery malfunction.
The full RFO will be posted within the next 24 hours. If you have questions regarding this update please contact your account manager (sales@evoswitch.com) or our support (support@evoswitch.com) staff
We apologize for any inconvenience caused.
Het is jammer dat zoiets gelijk weer een hoop gedoe oplevert. Onze server met de VPS systemen erop reageerde niet meer. Kost een hoop gedoe en boze klanten.