Bekijk Volledige Versie : EvoSwitch Down
Bakker ICT
30/06/10, 01:30
Op dit moment is het hele rack niet meer te bereiken in EvoSwitch, Datahal 3.2? Meer mensen met problemen daar?
Zojuist leaseweb gesproken, er zijn/waren wat stroom problemen bij evoswitch.. meer info had de betreffende medewerker nog niet
LSW NOC:
Expected Downtime: Unknown
Location: Evoswitch datahalls 3 and 4
Reason: Under investigation
*******************************
Dear customer,
At the moment we experience some troubles in (part of) our network.
We are doing our utmost to solve this issue a.s.a.p.
As soon as we have more information available, we will publish it here.
Please be patient while we are working on this problem.
Regards,
LeaseWeb BV
[update 00:25]
There was an issue with power maintenance by Evoswitch.
Power has been restored.
If you have any issues please contact support.
http://noc.leaseweb.com/status.php?i=525
Hier ook servers down...
Bakker ICT
30/06/10, 01:46
Power restored, lijkt er op dat een deel nog steeds offline is. Anderen ook weer in de lucht? Anders ga ik alvast de auto in ..
ik heb daar slechts 1 dedicated doosje hangen, maar die is ondertussen weer up
deel in de lucht, deel nog plat
Onze servers zijn alweer tijdje in de lucht. Dus denk dat de jouwe ook snel volgt? Al is het gat nu wel erg groot dan tussen de mijne en de jouwe..
EDIT:
[update 00:55]
Some rack switches did not come back after power restoration.
We are working on getting those back online ASAP.
Misschien ben jij de gelukkige?
Ben net terug uit Haarlem (lekker rustig, die A9...) ... enkele zekeringen waren uit gesprongen tijdens de power hickup (iig, in hal 3.2), dit was snel opgelost, mannetjes van EVO waren druk aan het rond rennen om alles op te lossen (en voor een situatie als deze, enorm snelle responsetijd aan de kant van EVO)
Bakker ICT
30/06/10, 05:19
Zo ook weer thuis vanuit Haarlem, volgens mij werkte jij achter mij Xatoth ;)
Uiteindelijk weer in de lucht, APC/IpoMan was zijn gehele config kwijt ... dus moest opnieuw worden ingesteld, daarna snel weer in de lucht.
Werd netjes geholpen door de jongens van Evo, had namelijk geen windows laptop met serial > utp bij .. hun gelukkig wel.
rensariens
30/06/10, 08:51
Beide feeds plat geweest? Hal 1 en 2 up gebleven als ik leaseweb noc mag geloven.
Beide feeds plat geweest? Hal 1 en 2 up gebleven als ik leaseweb noc mag geloven.
Hal 1 en 2 waren inderdaad gewoon online.
kwartiertje downtime gehad in hal 3... keurig!
New Operations Center status report:
Title: Main breaker Trafo 3 discontinued
Type: disruption
Start date/time: 30-06-2010 00:05
End date/time: 00-00-0000 0:0
Description:
Update:<br />
<br />
The disruption only affected those customers situated in datahall 3 and datahall 4.<br /> At this moment the UPS is back in normal operation.<br /> <br /> Please report to support@evoswitch.com if you still experience problems.<br /> <br /> An RFO will be made available.<br /> <br /> We apologize for any inconvenience.<br /> <br /> Kind regards,<br /> <br /> <br /> Datacenter Facility Manager<br /> EvoSwitch Netherlands BV<br /> <br /> P.O. Box 94500<br /> 1090 GM Amsterdam<br /> The Netherlands<br /> <br />
T: +31 20 3165170<br />
F: +31 20 3165177<br />
E: r.post@evoswitch.com<br />
http://www.evoswitch.com<br />
Het ging dus alleen om DH 3 en 4.
Zo ook weer thuis vanuit Haarlem, volgens mij werkte jij achter mij Xatoth ;)
Uiteindelijk weer in de lucht, APC/IpoMan was zijn gehele config kwijt ... dus moest opnieuw worden ingesteld, daarna snel weer in de lucht.
Werd netjes geholpen door de jongens van Evo, had namelijk geen windows laptop met serial > utp bij .. hun gelukkig wel.
Ik was die mafketel naast je :thumbup:
Het ging dus alleen om DH 3 en 4.
Blijkbaar niet eens de volledige hallen 3 en 4, want wij hebben onze spullen in datahal 4 hangen en gelukkig geen downtime gehad.
:thumbup: Naja gelukkig draait alles van iedereen weer. :) snelle reacties van evo en leaseweb btw complimenten :thumbup:
deel dat niet in de lucht was hing bij POST messsage :/ na reset weer oke
Iemand enig idee WAAROM de feeds downgegaan zijn? Ik heb geen spul in hal 3 of 4 maar wel meerdere malen storingen gehad. De informatie vanuit Evo is wederom wat summier mijnsinziens.
Dan vraag je toch een RFO aan.. Die is meestal niet direct beschikbaar maar maken ze bijna wel altijd.. Gewoon bij Leaseweb of EvoSwitch (waar je klant bent) aanvragen.. Ben je geen klant van hun direct dan via je leverancier natuurlijk ;)
Iemand enig idee WAAROM de feeds downgegaan zijn?
Vermoedelijk zoals eerder vermeld:
[update 00:25]
There was an issue with power maintenance by Evoswitch.
Power has been restored.
Ik denk een verkeerd knopje ingedrukt :)
Verder is de enige stroomstoring die ik mij kan herinneren vorige jaar (2x kort achter elkaar door een hik). Verder hebben we totaal geen problemen met stroom uitval gehad in Evo. (*zoekt een hardhouten tafel om af te kloppen*).
Enige storing in 2 jaar? Hmm. Dan heb je geluk. Meerdere poweroutages gehad, zowel in hal 1 als in 3.2. Twee maal een aircostoring ondervonden. Tevens een in hal 1 en in 3.2. (wij hebben nooit in hal 2 en/of 4 gestaan, dus hoe het daar is weet ik niet precies).
Ze zijn wel altijd snel/professioneel in het oplossen en ik heb ook wel vertrouwen dat het goed komt. En het kan zijn dat wij bijzonder veel pech hebben gehad (gelukkig is gisteren de 2e feed overeind gebleven). Maar ik vind het aantal storingen toch iets aan de hoge kant voor een next generation datacenter.
Wij staan dan ook in DH2. Daar is erg weinig aan de hand hoor. En die van vorig jaar was ook nog een deel van DH 2. Sterker nog, dat was gewoon een enkele rij welke problemen heeft ondervonden. Helaas stonden daar ook wat racks van ons.
Andere racks en router bleven gewoon online toen.
Toevallig was ik tussen 0:00 en 1:00u met onderhoud bezig op een van onze servers toen de ssh verbinding plotseling werd verbroken.
Aangezien ook de power-cycle in het SSC ernstige foutmeldingen gaf wist ik dat het niet aan mij kon liggen.
Gelukkig was de server rond 0:30 alweer online.
Vandaag ook een mailtje van Leaseweb ontvangen:
Dear valued customer,
LeaseWeb would like to inform you of the cause of a brief electrical outage on 30 June 2010, which affected some LeaseWeb customers. The data center, EvoSwitch, investigates if a brief emergency maintenance window is needed early Friday morning to permanently fix the problem. At this point we do not know whether this emergency window will cause an impact on your server(s). We will send you a follow-up email later today with additional information. Please review these emails carefully. As always, if you have any additional questions, after reviewing this email, please contact your account manager.
On 30 June 2010, between the hours of 00:00 and 01:00 Central European Summer Time (GMT+2), some LeaseWeb customers experienced brief power interruptions to their servers due to a fault in the data center UPS power network, which provides emergency backup power in the event of a mains outage. The power fault affected only some LeaseWeb customers in Halls 3 and 4 of the EvoSwitch data center.
Further investigation by data center engineers indicates an emergency window might be required to permanently resolve the situation. This maintenance window will commence 2 July 2010 at 04:00 Central European Time (GMT+2). We do not know yet, if the emergency window will cause any downtime for your server(s). Data center engineers are still testing solutions designed to eliminate any impact on LeaseWeb customers. It is their intention to correct the electrical problem at the data center without any customer issues. However, we alerting you now to the possibility of a brief power interruption during the emergency window.
LeaseWeb will send a follow-up email today to all affected LeaseWeb customers receiving this email, informing each customer of the likelihood of a power interruption during the emergency window. LeaseWeb has taken these steps to allow LeaseWeb customers, who potentially might be affected by this emergency window to take the appropriate precautions. At the present time, we advise you to have your server support staff on standby during this emergency window to deal with any server issues. Customers provisioned with dual power feeds will not experience any power interruptions during this emergency window.
LeaseWeb will have extra engineers available in the data center to manage any customer incidents, including "remote hands" service. Please contact support@leaseweb.com, for any issues relating to this maintenance interval. Current information will be posted at noc.leaseweb.com/network.php. Further details regarding this incident will be provided to interested customers at a later date upon request.
LeaseWeb is committed to providing its customers with the most reliable, secure, and efficient hosting solutions to meet their requirements. We appreciate your patience and understanding throughout this matter.
Kind regards,
LeaseWeb B.V.
UPDATE
Dear valued customer,
In an e-mail, LeaseWeb sent you earlier today, LeaseWeb informed you EvoSwitch engineers need to test their UPS network at the data center housing your infrastructure. This email confirms the test will occur at 04h00 Central European Summer Time (GMT+2). While every effort will be made not to interrupt the electrical feed to your servers, there is a small possibility of a brief power interruption at the time. For that reason we urge customers to standby in the event a power incident occurs.
LeaseWeb will have extra engineers on duty to deal with any issues. LeaseWeb will post any further information at noc.leaseweb.com/network.php. If you have any further issues, please contact support@leaseweb.com, which is always available 24/7.
Kind regards,
LeaseWeb B.V.
Wel jammer dat het onderzoek wederom een storing "kan" veroorzaken.
Maargoed ze zijn er in ieder geval druk mee bezig, en ik heb er alle vertrouwen in dat het goed komt.
UPDATE
Wel jammer dat het onderzoek wederom een storing "kan" veroorzaken.
Maargoed ze zijn er in ieder geval druk mee bezig, en ik heb er alle vertrouwen in dat het goed komt.
ik ben toch maar paraat... zolang het helpt kans op downtime te verminderen.. prima!