Onderwerp: storing easynet Schiphol

Hier werkt alles ook weer (euroaccess).

- Dennie

Hier juist net weer down. (EA)

Oorspronkelijk geplaatst door Senna

Gelukkig, mail doet het ook weer. En er is zo te zien geen mail verloren gegaan.
Dank iedereen die zijn best heeft gedaan.



Ik heb mijn servers via Easyhosting (die weer racks hebben bij Easynet) en ben erg tevreden. Op vandaag na dan. Het is wel zo dat ik het in de gaten hou. Deze geintjes moet je niet te vaak hebben. Ik hou mijn klanten altijd mooie uptimes e.d. voor, dit helpt niet echt.

Dacht dat dat Easynet wel een goed centrum was, toch?

Easynet is prima. Alleen sommige providers nemen niet de juiste lijnen ( cogent *kuch* )

- Zo net weer online. Uplink ging weer even weg.................

Maar heeft iemand nu een idee wat de oorzaak was van de powerfailure?
Waarom hebben generatoren het niet opgevangen?

Vanaf 14:00 kregen wij te horen dat er iets aan de hand was in Easynet, gelukkig was ik op dat moment al aanwezig in Interxion (AMS3) dus was zo aanwezig.
Toegang was helaas wat lastig omdat het aanmeld systeem niet bereikbaar was. Gelukkig heb ik via Rick van EuroAccess direct toegang kunnen verlenen.

Eerst in stantie dachten we aan een netwerkprobleem, echter in de ruimte aangekomen (1N) was toch flink duidelijk dat het (weer) een stroomprobleem was.
Deze storing was in dit geval van toepassing op meerdere suites.
In 1N was de A-feed uitgeschakeld en/of uitgevallen, de B-feed werkte echter nog wel.

Daarbij heb ik begrepen dat de toegang is geweigerd voor een aantal personen omdat het te druk was in het datacentrum.
Ik kan me goed voorstellen dat dit her en der flinke irritanties heeft opgelost.
Uiteindelijk heeft Easynet zelf stuk-voor-stuk de A-feed weer ingeschakeld (losse groepen). Uiteindelijk was de cage van EuroAccess weer volledig online, en de cage naast EuroAccess, EasyHosting was ook bijna volledig up op (te zien) twee racks na.

Wat nu de werkelijke oorzaak is van de outage is mij onbekend, de security gaf (zoals logisch is overigens) geen informatie.
Als het goed is krijgen de directe klanten bij Easynet wel informatie betreft deze issue.

Uiteindelijk was mijn dag ten einde rond 18:30 na diverse servers, van diverse partijen weer op te starten.

Feit is wel dat ik het niet eerder zo druk heb gezien bij Easynet, het was voor de security, die niets aan dit soort dingen kunnen doen (ondanks dat zij daar wel op aangekeken worden door diverse personen) een flink zware dag.
Gelukkig voor ons bleken wij aangesloten op de B-feed (gebruiken verder geen A-feed), en hebben wij geen downtime geleden op de netwerkprobleempjes die EuroAccess tussen 17:45-18:30 had na.
Al met al ben ik tevreden hoe tenminste EuroAccess gedurende dag heeft gehandeld, vriendelijk gebleven, ondanks de flinke druk (welke ook dit keer, weer, uit hun handen lag).

Al met al een dag met flink wat actie, en voor velen flink weggegooit geld (sommige hebben meer dan 3 uur zonder stroomgezeten)...

op dit moment liggen wij nog steeds plat , wij zitten bij smartforward in de rekken maar het lijkt daar nog plat te liggen.

op dit moment is het wachten op de toegangscode voor easynet.

Oorspronkelijk geplaatst door Mikej0h

Al met al ben ik tevreden hoe tenminste EuroAccess gedurende dag heeft gehandeld

Als het goed is mag het ook gezegd worden.

Om 21:30 was alles bij Easyhosting weer online, aangezien onze meeste cabinets op de A feed zitten is helaas bijna alles down geweest, op 2 of 3 cabinets na. Een deel van het netwerk wat nog up was hebben we uiteindelijk over onze tweede core router welke op easynet staat kunnen routeren, aangezien in de carrier room de NL-IX switch er ook uit lag (en daarbij ons vlan naar onze router op Nikhef richting de AMS-IX en een aantal andere transit partijen) is tijdelijk alles over transit gegaan (teleglobe en fiberring). De core netwerk apparatuur zit aangesloten op zowel de A als de B feed, daarom is een klein deel bijna constant bereikbaar geweest.

Mijn collega sysadmin is direct naar het datacenter gegaan om de cabinets aan te sluiten die niet direct terugkwamen, helaas trekt een bijna vol cabinet wat ineens word aangezet een te hoge piekspanning waardoor de zekering er direct weer uitklapte.

Rond 18:00 was op een 7-tal servers na alles weer online, de resterende servers hebben we alsnog gerepareerd en online kunnen brengen (er zijn door deze stunt een aantal harddisks gesneuveld, lang leve raid-1) en hebben 't om 21:30 kunnen afronden.

Op uitleg van Easynet zit ik nog te wachten, zal wel in de loop van volgende week worden..

Niet het beste begin van 't weekend in ieder geval..

blijft de vraag: laag nu heel ESY eruit? of alleen één feed? Ik hoor tegenstrijdige berichten tussen A en B die er tegelijkertijd uit zouden liggen. En waarom (wanneer?) namen de backups (generatoren?) het niet over?

Oorspronkelijk geplaatst door davinci

blijft de vraag: laag nu heel ESY eruit? of alleen één feed? Ik hoor tegenstrijdige berichten tussen A en B die er tegelijkertijd uit zouden liggen. En waarom (wanneer?) namen de backups (generatoren?) het niet over?

Of heel easynet er last van had weet ik niet, ik weet wel dat de bekendere partijen problemen hebben ondervonden.
- EuroAccess (1N)
- EasyHosting (1N)
- LeaseWeb (x/x)
- ArgeWeb

WIJ konden door op de B-feed, wellicht was in andere suites dit niet het geval, maar in 1N in ieder geval wel.

De UPS die easynet gebruikt zorgt ervoor dat bij uitval (of piekjes / dipjes) van de toeleverancier (Essent of weet ik veel welke partij dat in A'dam is) er een periode is dat de generatoren kunnen opkomen. De UPS zorgt er dus voor dat er een vlakke spanning afkomt van buitenaf (generatoren meegeteld).
Echter, als er een storing optreed achter de UPS voor buitenaf kan dit niet worden afgevangen. Wellicht door in de ruimtes extra UPS'en te plaatsen.

Zie het een beetje zoals:

Invoer (Hoofdleverancier zoals Essent)..........................\
......(|)......................................... ............................- UPS - Suites
Invoer (bij uitval hoofdleverancier, dan generator).........../

Voor zover ik weet lag de complete A-feed lag eruit door sluiting tijdens onderhoud. Ipv dat de alleen de busbar eruit vloog, vloog er voor (of na) de UPS er het een en ander uit, waardoor dus een complete feed eruit lag. Een officiele verklaring zal uiteraard nog volgen van EasyNet.

Mijn server was ook dood (LW suite 1D). Aangezien je toch weinig kan doen heb ik gewacht op de melding van LW, dat alles weer oke was.

Mijn server was helaas alsnog dood, ben er maar heen gesjeesd en kwam tot de ontdekking dat de APC van LW ff offline was, na een reset en een babbel met LW werkte alles weer.

Easynet schijnt in het verleden vaker dit soort problemen te hebben gehad, hopen dat het oke blijft.

Succes y'all

Wij hebben ook twee feeds, daarom was onze core netwerk apparatuur en een een drietal cabinets nog online in 1N

Leek dus een van de feeds te zijn die er uit lag.

Hmm hier niets offline geweest, alleen wat mensen hebben problemen gehad met de bereikbaarheid. Toch sta ik daar bij leaseweb, 2A geloof ik.
Denk dat ik op de B feed sta, staat me iets van bij.

Oorspronkelijk geplaatst door Komto

Hmm hier niets offline geweest, alleen wat mensen hebben problemen gehad met de bereikbaarheid. Toch sta ik daar bij leaseweb, 2A geloof ik.
Denk dat ik op de B feed sta, staat me iets van bij.

Iedereen die 2 voedingen heeft in ze server (die zowel gebruik maken van A feed als B feed) hebben geen problemen gehad, B feed is er in 2A niet uit geweest volgens mij.

Hier in iedergeval alle servers online gebleven:
System Uptime 422 Days, 17 Hours and 42 Minutes
System Uptime 410 Days, 9 Hours and 12 Minutes
...

Lang leven de niet budget servers?

Mensen kunnen ook zoon power unit kopen wat je in allebei de feeds stopt..en waar je dan vervolgens je APC aanhangt (of een stekkerdoos) zodat je ook altijd stroom blijft hebben.

Mensen met kapotte hardware succes