Bekijk Volledige Versie : InterConnect bezweken door de sneeuw?
Servers niet meer bereikbaar, telefonisch onbereikbaar. Traceroutes lopen stuk op ams-ix.interconnect.nl
Meer mensen met problemen?
jantje.vlaam
17/12/10, 15:59
Ja, mijn servers liggen ook plat. Interconnect is niet te bereiken.
Mijn websites liggen er ook uit idd.. :(
Hier helaas ook, kan (uiteraard, voip) geen contact krijgen.
Weet iemand iets meer?
is dit gerelateerd met de andere storingen die zich momenteel voor doen?
Volgens bronnen is er in de omliggende panden in ieder geval wel stroom. Daar lijkt het dan ook niet aan te liggen.
Ik hoop dat het snel opgelost is, ik ben blij dat ik daar niet werk op dit moment ;)
Hier helaas ook, kan (uiteraard, voip) geen contact krijgen.
Hoezo, uiteraard? Je verwacht toch dat zoiets gescheiden wordt van de eigen infrastructuur, desnoods via een los DSL lijntje.
Een en ander lijkt weer in de lucht te komen, VPN tunnels kwamen net weer online. Dus ze lijken het gevonden te hebben gelukkig.
Hoezo, uiteraard? Je verwacht toch dat zoiets gescheiden wordt van de eigen infrastructuur, desnoods via een los DSL lijntje.
Idd, zou wel moeten.
Er komt weer van alles in de lucht, power is er wel af geweest:
[bas@web02 bas]w
3:26PM up 8 mins, 1 user, load averages: 0.19, 0.26, 0.17
Net gebeld met InterConnect, stroomstoring geweest en alles is nu in de lucht aan het komen.
Stroomstoring? Maar waarom hebben ze die grote dieselaggregates dan?
Dit hebben ze eerder gehad, zou nu niet meer mogen gebeuren dacht ik zo.
Hopelijk zijn de servers zelf niet allemaal platgegaan..... alles staat op APC's
Vorige week hebben ze nog perongelijk een server van me uitgezet (verkeerde klant bij remote hands probleem). Gaat lekker zo...
--
Wil
Hopelijk zijn de servers zelf niet allemaal platgegaan..... alles staat op APC's
Tenzij die APCs waar je het over hebt, UPS's zijn (waar ik niet vanuit ga), zou ik erop rekenen dat alle servers plat zijn geweest en er waarschijnlijk aardig wat servers filesystem problemen zullen hebben.
Onze servers zijn uitgeweest, en allemaal netjes terug. Geen idee hoe het met de rest van de klanten is.
Wij maken gebruik van 2 feeds bij IC, bizar dat ze beiden weg waren. Ben heel, heel benieuwd naar de verklaring.
Ja, ze zijn uit geweest. Athans, dat heb ik van meerdere bronnen vernomen.
Oh dear... ja dan kan je er wel van uitgaan dat er problemen zijn links en rechts. :(
--
Wil
Update van InterConnect:
Betreft: Stroomstoring
Bijna alle diensten draaien weer. U wordt middels de Technieuws op de hoogte gebracht.
Het dak is niet bezweken onder de sneeuw? ;)
Update van InterConnect:
Betreft: Stroomstoring
Bijna alle diensten draaien weer. U wordt middels de Technieuws op de hoogte gebracht.
Waar haal je die vandaan? Website is hier nog niet bereikbaar, en telefonisch ook niet meer nu. Heb remote hands nodig om 1 apparaat aan te zetten :)
Mijn servers zijn ook allemaal platgegaan inderdaad, oh jee.
Heb het idee dat ik inmiddels voor interconnect werk als dat zo iedere week raak is.
Ben benieuwd naar mijn salaris ;)
Welnu alles maar weer controleren dan.
--
Wil
Tip: ga er niet blindelings van uit dat je server weer probleemloos functioneert zodra deze online is. Wanneer een filesysteem abrupt plat gaat, is er grote kans dat er corruptie in het filesysteem is, hetgeen op lange termijn voor grotere problemen kan zorgen. Zorg er dus voor dat je zo snel mogelijk een fsck (filesystem check), checkdisk of soortgelijke check (bijbehorend bij het betreffende filesysteem) draait (of laat draaien door je systeembeheerder).
Ik lees net op twitter dat er zojuist nog een tweede stroomstoring zou zijn geweest. Kan iemand dit bevestigen/ontkrachten?
Inmiddels ben ik weer remote aan het werken en zie geen storing op het moment.
Kan een tweede storing niet bevestigen, maar interconnect zelf ligt er nog steeds uit.
Hier werkt ook alles nog steeds. Wel berichten over uitgefikte aggregaten. Maar dat is niet officieel.
Waar haal je die vandaan? Website is hier nog niet bereikbaar, en telefonisch ook niet meer nu. Heb remote hands nodig om 1 apparaat aan te zetten :)
Technische dienst. Wij hebben daar ook verschillende ruimtes.
Zie hier ook allerlei berichten voorbij komen over brand in de generatoren
Interconnect zegt nu op Twitter dat er GEEN brand is geweest. Wordt onderhand wel tijd dat ze wat meer info naar buiten brengen.
interconnect.nl webserver lijkt weer online te zijn, echter werkt de site nog niet (SQL server ligt zo te zien nog plat)
Interconnect
17/12/10, 18:17
Van 14.32 tot 15.07 heeft zich inderdaad een storing in de stroomvoorziening voorgedaan. Nadere berichtgeving volgt via de officiële kanalen.
Wij benadrukken dat er géén brand is geweest in het datacenter van Interconnect of facilitaire voorzieningen. Wel is er preventief opgetreden door onze leverancer, waardoor mogelijk de indruk is ontstaan dat er brand was.
Wel is er preventief opgetreden door onze leverancer
Dat is wel heel vaag. Waar is preventief tegen opgetreden?
Interconnect
17/12/10, 18:36
Dat is wel heel vaag. Waar is preventief tegen opgetreden?
De noodstroomgenerator gaf een alarm, waarop de leverancier actie heeft ondernomen. Dat houdt onder andere in dat er om brandblusmiddelen werd gevraagd. Hierdoor is wellicht de verkeerde indruk ontstaan.
Door een alarm op een noodstroom aggregaat gaat het hele data center plat, zowel A feed alsook B feeds? Da's op zijn zachtst gezegd raar. Lijkt me dat er dan niet zorgvuldig wordt getest of alles correct werkt.
Anyways... voor linux mensen die hun filesystem willen checken. Voor debian/ubuntu hosts. as root maak een bestand /forcefsck en reboot
Door een alarm op een noodstroom aggregaat gaat het hele data center plat, zowel A feed alsook B feeds?
Er werd niet gezegd dat dit alarm de oorzaak van de storing zelf was. Begrijp anderzijds wel dat je dit zo hebt geïnterpreteerd, en dat ligt weer aan de zeer gebrekkige informatievoorziening. Ik hoop dat Interconnect hier in ieder geval lering uit trekt. De wet van Murphey dicteert dat een probleem zich nu eenmaal voor kan doen, hoe veel maatregelen je ook neemt om dat te voorkomen. Wat echter nog belangrijker is, is hoe met een probleem omgegaan wordt op het moment dat een probleem zich voordoet, en op het gebied van communicatie is dat in dit geval verre van toereikend geweest.
Anyways... voor linux mensen die hun filesystem willen checken. Voor debian/ubuntu hosts. as root maak een bestand /forcefsck en reboot
Dat geldt voor de meeste andere linux distributies ook. Zorg na de reboot er wel voor dat je dat bestand weer verwijderd, anders zal je systeem bij de volgende reboot weer een fsck forcen.
Er werd niet gezegd dat dit alarm de oorzaak van de storing zelf was. Hmm... het was misschien inderdaad alleen een reactie op de melding van brand.
Problemen komen voor, al begint het wat vaak te worden de laatste jaren bij interconnect. (Tja ik ben nu even wat partijdig naar 2x offline te gaan in 2 weken door problemen aan hun kant)
Wat echter nog belangrijker is, is hoe met een probleem omgegaan wordt op het moment dat een probleem zich voordoet, en op het gebied van communicatie is dat in dit geval verre van toereikend geweest.
Communicatie is nooit hun sterkste punt geweest. Maar momenteel is het wel erg zwakjes. Ik hoop dat ze nu begrijpen dat ze iig via social media of zo hun klanten op de hoogte proberen te houden. Telefoon/mail/website alles lag eruit, maar hun twitter stream bleef leeg tijdens het probleem.
Het officiele kanaal van communicatie hier is hun technieuws email, maar die tekst moet nu natuurlijk eerst door een jurist worden goedgekeurd voordat we het mogen lezen...
Schade beperken, maar het komt de klantvriendelijkheid zo niet echt ten goede.
Dat geldt voor de meeste andere linux distributies ook. Zorg na de reboot er wel voor dat je dat bestand weer verwijderd, anders zal je systeem bij de volgende reboot weer een fsck forcen.
Debian/ubuntu verwijderen dat uit zichzelf. Daarom noemde ik de distributie erbij, zou dat voor RHEL/SUSE moeten controleren. Ik ga ervan uit dat ICT mensen eerst nog iets nalezen voordat ze het blindelings van internet overtypen. Het was gewoon een tip.;)
--
Wil
Ik ga ervan uit dat ICT mensen eerst nog iets nalezen voordat ze het blindelings van internet overtypen. Het was gewoon een tip.
Tweakers heeft zelfs klakkeloos een bericht van twitter overgenomen waarin iemand zei dat de storing van ns.nl zou zijn gekomen door de storing bij Interconnect (zie http://tweakers.net/nieuws/71439/stroomstoring-interconnect-datacenter-oorzaak-van-ns-punt-nl-problemen.html), hetgeen complete onzin is (ns.nl draait niet bij Interconnect, en daarnaast begon de storing van ns.nl ook al veel eerder).
Dat laat toch wel zien hoe men zonder iets te controleren overneemt :)
T. Verhaeg
17/12/10, 20:38
CentOS / RHEL delete de file ook.
CentOS / RHEL delete de file ook.
Serieus? Ik zou toch zweren dat ik het de laatste keer handmatig moest verwijderen, maar ik zal het wel met iets anders verwarren.
T. Verhaeg
17/12/10, 21:31
Serieus? Ik zou toch zweren dat ik het de laatste keer handmatig moest verwijderen, maar ik zal het wel met iets anders verwarren.
Ja, ik heb het net nog even getest om het zeker te weten.
dennis0162
17/12/10, 23:15
Officiële technieuws:
Om 14.32u vanmiddag is er een stroomstoring ontstaan aan de bron van onze stroomvoorzieningen. Na ingrijpen van onze engineers is de stroomvoorziening om 15.07u hersteld. Omdat het probleem gelocaliseerd was vòòr de noodstroomgenerator, heeft deze de onderbreking niet op kunnen vangen (en duurde deze te lang om volledig opgevangen te kunnen worden door de UPS systemen).
Onze engineers controleren momenteel alle diensten op correcte werking. E-mail is opgevangen en zal met enige vertraging alsnog worden afgeleverd.
Omdat wij nog niets willen uitsluiten, wordt op dit moment tevens een extra noodstroomgenerator geplaatst.
Wij zullen zo spoedig mogelijk met een uitgebreidere berichtgeving komen omtrent deze storing. Wel willen wij alvast benadrukken dat er, ondanks berichtgeving op niet-officiële kanalen, GEEN sprake is geweest van brand in of rondom ons datacenter. Geruchten hieromtrent zijn mogelijk ontstaan vanwege preventieve maatregelen die werden genomen op het bedrijventerrein.
Dus zowel de A als de B feed had last van deze storing? Dan heb je er niet zoveel aan lijk me... :thumbdown:
Omdat het probleem gelocaliseerd was vòòr de noodstroomgenerator, heeft deze de onderbreking niet op kunnen vangen (en duurde deze te lang om volledig opgevangen te kunnen worden door de UPS systemen).
Slaap ik nou te weinig, of moet een probleem zich niet altijd vòòr een generator plaatsvinden als de generator in gang moet schieten...
mastermind
19/12/10, 01:21
Slaap ik nou te weinig, of moet een probleem zich niet altijd vòòr een generator plaatsvinden als de generator in gang moet schieten...
Dan slaap ik waarschijnlijk ook te weinig, want ik vroeg me precies hetzelfde af.
ze bedoelen vast tussen het DC en de generator... zou wel een bizarre config zijn, normaal hebben de normale stroomvoorziening en de generator een apart ingang naar het gebouw toch?
ze bedoelen vast tussen het DC en de generator... zou wel een bizarre config zijn, normaal hebben de normale stroomvoorziening en de generator een apart ingang naar het gebouw toch?Een probleem door de fysieke staat van de stroomgeleiders lijkt het me niet, dan is het meestal niet op een uurtje opgelost. 200mm²+ draadjes haal je niet eventjes bij de doe-het-zelf markt het de rekken.
'k Vind de tekst nogal weinig zeggend en vooral bedoeld om toch met iéts naar buiten te komen, de meeste van hun klanten snappen meestal ook wel e.a. van een noodstroom installatie, maar veel technisch nuttige info geven ze nou niet bepaald...
Interconnect
20/12/10, 14:11
Op dit moment zijn we bezig met een technische oorzaak-analyse om de precieze oorzaak van de stroomstoring te achterhalen. Onze leveranciers zijn daarbij aanwezig.
Later vanmiddag volgt meer informatie.
Interconnect
20/12/10, 21:16
Beste lezers,
Via deze link vinden jullie meer informatie over de storing van vrijdag 17 december:
http://www.interconnect.nl/461/Toelichting-storing-datacenter
Dank je, de communicatie is al aan het verbeteren ;)
Ik vind het positief dat jullie deze link hier publiceren en niet alleen via de technieuws emails.
Op naar de volgende 490 dagen uptime.
--
Wil
Beste lezers,
Via deze link vinden jullie meer informatie over de storing van vrijdag 17 december:
http://www.interconnect.nl/461/Toelichting-storing-datacenter
Wat ik hierin mis, is uitleg over hoe het heeft kunnen gebeuren dat de B-feed tevens is uitgevallen. Deze hoort volledig los te staan van de A-feed (vanaf de trafo) en dat is hier klaarblijkelijk niet het geval. Op deze manier kun je het amper een B-feed noemen.
Interconnect
22/12/10, 11:09
De A- en B-feed zijn gescheiden na de trafo en noodstroomaggregaat, voor de UPS-voorzieningen. De A- en B-feed hebben dus beide een eigen UPS en automaten in de HVK. Het klopt dat de A- en B-feed niet volledig los van elkaar staan vanaf de trafo.
Het nieuwe datacenter in Eindhoven zal volledig Tier IV – 2N zijn v.w.b. de stroomvoorziening (meerdere trafo’s, noodstroomaggregaten en UPS voorzieningen). Momenteel loopt er een onderzoek om te kijken hoe we dit ook in ’s-Hertogenbosch kunnen realiseren, om zo de continuïteit v.w.b. de stroomvoorziening verder te kunnen waarborgen.