Evoswitch / Leaseweb hall 2 problemen

Connectivity weg? als de uplink switches buiten onze kast down zijn wel, maar dit is inderdaad minder erg dan vanalles en nog wat moeten herstarten.

Dit is wel weer een goede test geweest on te zien of alles wel netjes opstart, en de monitoring alles ziet wat er gezien moet worden.

Alles draait weer, maar het moet een rustige maand worden om nog aan onze SLA's te kunnen voldoen.

Citaat:

---

Oorspronkelijk geplaatst door Thijsvdbrink

Connectivity weg? als de uplink switches buiten onze kast down zijn wel, maar dit is inderdaad minder erg dan vanalles en nog wat moeten herstarten.

---

Wij hebben het in een bepaald datacenter vaker meegemaakt dat de provider geen enkele redundante voorziening had om de netwerk apparatuur van stroom te voorzien.
Eigen core netwerk netjes met UPS in rack om uitval van een groep geen uitval van hele colo te laten zijn, maar "upstream" gingen ze telkens down.

In het geval van evo moet je dan hopen dat je uplink nog wel aan is als de hal uitvalt, anders is de rack UPS ook voor niets.

Het klopt inderdaad wat Jeroen eerder zei. De Racks tot de DV rij waren getroffen. Dit is iets van 1/6 van de gehele hal. Inmiddels een verklaring van Evoswitch.

Citaat:

---

Oorspronkelijk geplaatst door Evoswitch

Dear customer,

Herewith we provide you with a preliminary RFO statement for the power disruption in data hall 2 as occurred early this morning.

At 06:12 hrs the mains power, supplied to Evoswitch by Liander, failed. Immediately all UPSs switched over to battery operation and gave the signal to the generators to start. For data halls 1, 3, 4 and 5 this process went smoothly and according to specification. For data hall 2 this process failed, resulting in a power outage on the no-break power feeds of data hall 2.
The batteries of UPS 2 were empty before the generator was running which put UPS 2 in a state that, due to the high power levels, required a manual intervention to push it back in to no-break operation.

The authorized on-call electric engineer, required to make the intervention, arrived at the data centre on 07:00 hrs. On 07:12 hrs UPS 2 was manually forced to no-break operation after which the power to data hall 2 was restored.
To avoid such events in the future we will initiate the following actions:

1) More frequent battery testing. Currently this is performed once per year and will be done once per half year.
2) The manual trigger required to push the UPS to no-break operation after a battery failure will be taken out and set to automatic.
3) We will replace all batteries of UPS 2 within the next 24 hours.
4) A new maintenance scheme will be developed and deployed for our batteries to minimize the risk of an outage due to battery malfunction.

The full RFO will be posted within the next 24 hours. If you have questions regarding this update please contact your account manager (sales@evoswitch.com) or our support (support@evoswitch.com) staff

We apologize for any inconvenience caused.

---

Het is jammer dat zoiets gelijk weer een hoop gedoe oplevert. Onze server met de VPS systemen erop reageerde niet meer. Kost een hoop gedoe en boze klanten.