Bekijk Volledige Versie : Storing GrafiX DC
Momenteel is er een storing aan het Grafix DC.
Zij zijn op de hoogte en onderweg reeds.
Mooi, hopelijk is het snel opegelost! hier is ook alles down :(
Zelfs Caveo ligt eruit, en die hebben toch een eigen netwerk daarzo.
Geen goed teken..
Bedankt voor het plaatsen van het bericht hier, scheelt me een belronde.
Ik zit nog niet zo lang met een rack bij grafix maar dit gebeurt wel vaak zeg.
Mooi, hopelijk is het snel opegelost! hier is ook alles down :(
Dacht dat jij het meeste in Breda had hangen?
50 - 50 maar in Grafix hangen meer colo's :(
Volgens mij is er een stroom probleem
Gaat erg lekker de laatste tijd, en ik ben er inmiddels al flink zat van. Weer alles plat.
De vorige ronde (20 / 8) maar liefst 7 uur plat.
Ik hoor net dat de diesel generater niet zou werken, ff afwachten maar ik vrees idd ook stroom :(
en ik hoor net dat het brandalarm is afgegaan..... ??
OK, weet nu iig waarom de boel offline is. dank! Hopelijk lossen ze het snel op :(
en UP! maar wel pas 3 min :( dus de stroom is eraf geweest :( :( :( :(
Hier nog niet, alles is nog down
We draaien nu op de diesel, er is een groepenkast in de fik gevlogen, wat en hoe weet ik niet precies, updates zijn maar kort..
en ik hoor net dat het brandalarm is afgegaan..... ??
Staat niet op de P2000 (alarmding voor brandweer, ambulance en politie) dus lijkt me niet dat die is afgegaan. Of anders is ook dáar een storing in en is de brandweer niet automatisch op de hoogte gesteld van brand in het DC..
Ik hoor net ook idd dat er een groepenkast in de brand heeft gestaan (of brand?) :(
Thx! Ik hoop dat er genoeg diesel is... tis vrijdag 20:00 en als er een groepenkast vervangen moet worden... ik begrijp niet hoe dit nu weer kan :(
waarom gebeurt dat altijd ' s avonds en in het weekend/
We zijn terplaatse. Een verdeelkast in het pand is letterlijk ontploft. Alles draait nu op de diesel en moet weer draaien. Ze werken nu aan een oplossing om de verdeelkast zo z.s.m. weer up and running te krijgen (nieuwe kast), de diesel houd het wel even uit.
Is dit alleen in de locatie Capelle? Wij zitten namelijk in Alphen en wij hebben helemaal geen last.
Hier draaien er maar een paar, 80% is down
wij doen het weer iig! :D
Robbert van Technotop; bedankt voor de posting. Dit is inderdaad het geval.
Momenteel draaien de servers op de diesel generator en wordt met leveranciers overlegd hoe de groepenkast zsm. vervangen kan worden. Daar dit een specifiek type betreft kan ik nog geen tijdsindicatie geven.
Een deel van de groepenkast van het pand is uitgebrand. Het hoe/waarom moet onderzocht worden. We geven nu eerste prioriteit aan het terugdraaien naar net spanning.
De netspanning van Eneco staat nog steeds op het pand, alleen moet de kast eerst vervangen worden voordat we terug kunnen. Tot die tijd blijven de servers op de generator draaien en binnen ca 1,5 uur staat voor de zekerheid ook een tankwagen paraat.
Excuses voor deze overlast.
Marco van Gink
mijn 3e nameserver ligt nog steeds plat :(
mastermind
22/08/08, 21:21
Wij hebben alleen verbinding op de 217.67 reeks. Adressen op de 84.243 reeks stoppen na de csw-0.cpl-mkb.grafix.nl (ook machines op beide reeksen zijn alleen op de 217 te bereiken)
Jan-Willem
22/08/08, 21:21
Alles is blijkbaar weer in orde?
thanks.
Zou voldoende diesel moeten zijn om de boel weer up te krijgen.
Op welke locatie was dit eigenlijk ik neem aan Capelle? Want wij zitten namelijk in Alphen en we hebben geen last gehad.
Hier alles nog onbereikbaar, succes ermee!
Betreft inderdaad Capelle a/d IJsel.
mastermind
22/08/08, 21:24
Op welke locatie was dit eigenlijk ik neem aan Capelle? Want wij zitten namelijk in Alphen en we hebben geen last gehad.
ja het was idd in Capelle
Mijn account @deziweb is gelukkig weer online. Hoop dat ze het snel kunnen fixen!
Mijn account @deziweb is gelukkig weer online. Hoop dat ze het snel kunnen fixen!
Klopt, er zijn nu nog *maar* 15 servers down
Maar normaal gesproken horen toch meteen de diesel generatoren aan te gaan? Of is dit bij een ontploffing niet het geval?
Jemig, "maar" 15 :S Succes met alles! Hopelijk komt het snel weer online.,
Klopt, er zijn nu nog *maar* 15 servers down
Waaronder de mijne :(
edit: en inmiddels up.
Wij zijn nog steeds down..
De netwerkstoring die het gevolg was van de stroomstoring had ook effect op andere locaties (waaronder alphen, en van Technotop ook Interxion) op routes die over het grafix netwerk gaan. Ikzelf heb mijn colocated server wel de hele tijd kunnen bereiken, maar mijn route gaat over de NL-IX. Een hoop anderen konden mijn colo dan ook niet bereiken, hun route ging over Grafix.
Ik ben inmiddels weer up...
nu nog tig mailtjes beantwoorden
Hier nog rack met 20/25 servers offline.
Nu paar minuten later ook up! (edit)
Maar normaal gesproken horen toch meteen de diesel generatoren aan te gaan? Of is dit bij een ontploffing niet het geval?
Bij een ontploffing/brand is het eerste wat je wilt alle stroom afsluiten en de oorzaak zoeken. Knap van Grafix dat ze de boel nu al weer up hebben ben erg benieuwd naar de oorzaak, en succes!
De puzzelstukjes vallen in elkaar. We gaan nu eerst een by-pass maken in de hoofdkast van het pand. Hierna kunnen de servers terug naar netspanning. Begin volgende week zullen we dan gecontrolleerd op diesel schakelen waarna de kast vervangen kan worden.
Er wordt druk gekeken naar het hoe/waarom/hoe te voorkomen verhaal. Ik zal dit nadat alles weer stabiel op net draait uiteenzetten in een mailing en de technische details hiervan ook publiceren op WHT.
Dank voor jullie begrip en alle hulp/support van de relaties in ons pand!
Marco van Gink
Maar waarom heeft de locatie Alphen aan den Rijn ook last gehad van deze storing?
Maar waarom heeft Alphen ook last gehad van deze storing? Want de routers hangen toch in Telecity2?
Ons netwerk was in zowel InterXion3 als Alphen a/d Rijn niet bereikbaar tijdens de storing in Capelle a/d IJssel. Dit heeft te maken met alle ellende die wij nu hebben met onze leverancier in InterXion3 (onze klanten weten hiervan) en wij zijn al 2 nachten bezig met onderhoud om het netwerk in Alphen a/d Rijn op zich zelf te laten draaien. Op dit moment draait het netwerk in Alphen voor 50% van de relaties op Capelle a/d IJssel. Wij zouden dit vannacht voor alle klanten uitrollen.
ps. Toon/Intention bel mij even.
Ons netwerk was in zowel InterXion3 als Alphen a/d Rijn niet bereikbaar tijdens de storing in Capelle a/d IJssel. Dit heeft te maken met alle ellende die wij nu hebben met onze leverancier in InterXion3 (onze klanten weten hiervan) en wij zijn al 2 nachten bezig met onderhoud om het netwerk in Alphen a/d Rijn op zich zelf te laten draaien. Op dit moment draait het netwerk in Alphen voor 50% van de relaties op Capelle a/d IJssel. Wij zouden dit vannacht voor alle klanten uitrollen.
ps. Toon/Intention bel mij even.
Maar er was maar hooghuit 1 min last onze leverancier zit namelijk ook bij Netrouting. Maar de laatste tijd is er veel loss en pieken in het Alphen netwerk. Heeft dit met interxion3 te maken of staat het netwerk van netrouting in Alphen totaal los van jullie Technotop?
Nog steeds off line. wacht het nog even af.
Technotop; Als je het niet erg vind ga ik je niet bellen, heb het even nogal wat druk.
Mijn uitspraak was niet gepast, laten we zeggen dat het onder de stress eruit vloog.
Excuses is reeds in PM gemaakt.
/me weer verder..
Maar er was maar hooghuit 1 min last onze leverancier zit namelijk ook bij Netrouting. Maar de laatste tijd is er veel loss en pieken in het Alphen netwerk. Heeft dit met interxion3 te maken of staat het netwerk van netrouting in Alphen totaal los van jullie Technotop?
Netrouting staat weer in het GrafiX Netwerk. GrafiX heeft zijn coreswitches in Capelle a/d IJssel staan. Dit kan verklaren waarom ze offline waren.
Aaaaaaaaaargh. Het ziet er in mijn geval er naar uit dat mijn machine grotendeels naar de gallemiezen is. Ik dacht dat FreeBSD een stabiel filesystem had, maar helaas.
Uitgerekend na mijn vakantie. Ik had de backup-machine thuis nog uitgezet om stroom te besparen, en dacht "dat gebeurt toch niet".
Desalniettemin: mijn eigen probleem! Veel sterkte aan GrafiX en anderen!
Netrouting staat weer in het GrafiX Netwerk. GrafiX heeft zijn coreswitches in Capelle a/d IJssel staan. Dit kan verklaren waarom ze offline waren.
Onze leverancier had in het begin gezegd dat Alphen totaal los van Capelle staat en dat de coreswitches in Telecity2 stonden
Wat ik bij Netrouting heb staan is up hoor
Wat ik bij Netrouting heb staan is up hoor
Alles is gewoon up ja. Maar technotop zei dat de Coreswitches in Capelle stonden terwijl onze leverancier zegt dat ze in Telecity 2 staan
mastermind
22/08/08, 22:46
Ik denk niet dat dit het topic is om daar nu over in discussie te gaan.
Misschien handiger om dat of je leverancier op te nemen of in een separaat topic te bespreken.
Mischien wel handig om het nog even open te laten zodat grafix de reden tot de ontploffing kan posten
De servers draaien weer sinds ca. 2200u op netspanning.
Mailing volgt spoedig, graag topic even open laten voor posting.
Geachte relatie, WHT'er en/of geinteresseerden,
Hedenavond hebben wij in ons datacenter in Capelle a/d IJssel helaas een
stroomstoring ervaren.
Deze storing is ontstaan wegens brandschade in een deel van de stroomverdeler
van het pand. Deze verdeler voedt onze elektrotechnische installatie met
netspanning, maar staat daar volledig los van opgesteld.
Ondervermeld vindt u een overzicht van de tijden en toelichting;
- 19:23u - Netspanning naar UPS valt weg en diesel generator wordt
automatisch gestart. UPS wordt niet gevoed wegens een probleem dat hieronder
nader wordt toegelicht.
- 19:27u - UPS schakelt zichzelf uit ivm. ontladen batterijen.
- 19:51u - Spanning naar UPS handmatig overgezet naar generator spanning.
- 19:52u - UPS batterijen worden geladen, UPS start en servers krijgen weer
spanning.
- 1952u tot 22:00u - Met de installateur is een manier bedacht om het
beschadigde deel te omzeilen om zodoende de UPS weer op netspanning
aangesloten te krijgen. Omdat dit een specifiek onderdeel betreft kon dit
niet direct worden vervangen voor een nieuw exemplaar.
- Omstreeks 22:05u - De netspanning is opnieuw ingeschakeld en via de ATS is
de UPS terug gezet naar reguliere netstroom. De generator is na het testen
van de belasting uitgeschakeld en weer stand-by geplaatst.
Tijdens de brandschade is een deel van de zekering houder beschadigd geraakt.
Doordat de schade niet groot genoeg was heeft het niet de gehele houder
gesmolten, maar slechts een deel van de mespatronen ( zekeringen ). Doordat
deze patronen niet geheel beschadigd raakten en volledig uitvielen, is
er "rest spanning" op de patronen blijven zitten.
Hierdoor wist onze ATS omschakelkast, die schakelt tussen netspanning en
spanning van de generator, geen stabiele stroomtoevoer naar de UPS te
verkrijgen, en bleef "twijfelen". Hierdoor is na ca. 3 minuten de UPS
uitgevallen vanwege het volledig leeg raken van de batterijen.
Nb; Een dergelijke schakelkast ( ATS - Automatic Transfer Switch ) zorgt voor
schakeling tussen de reguliere netspanning en de diesel generator. De ATS
geeft standaard voorkeur voor netspanning. Bij uitval hiervan, ( vanaf 1 fase
380Volt tot volledige uitval van 3 fases ), zal deze automatisch een start
signaal geven naar de generator waarna deze de spanning zal gaan leveren.
Deze doet dat pas nadat hij volledig is opgestart en stabiel "380Volt 50Hrtz"
levert.
Aankomende week zullen we de beschadigde stroomverdeler vervangen. Tijdens
deze werkzaamheden zullen de servers via de UPS worden overschakeld naar
generator spanning.
Uit deze storing is tevens naar voren gekomen dat de huidige ATS
omschakelkast niet bedrijfszeker genoeg is en aangepast moet worden om bij
uitval altijd correct te blijven functioneren. Deze aanpassing zal geen
invloed hebben op de bereikbaarheid van ons netwerk en de servers.
Mijn dank gaat uit naar het begrip en alle ondersteuning van de relaties ter
plekke! Mijn excuses voor de veroorzaakte overlast.
Vertrouwende u hiermee voldoende te hebben geinformeerd en tot nadere
mondelinge en schriftelijke toelichting gaarne bereid.
GrafiX Internet B.V.
Marco van Gink
Mijn servers zijn niet te bereiken, kan het zijn dat er nog onderhoud is?
Nee, alles draait al weer geruime tijd. Mocht je problemen hebben en direct klant bij ons zijn, bel dan even het storingsnummer. Anders moet je even je leverancier benaderen :/
Zo. Terug uit Capelle, als het goed is draait alles weer.
ccchosting
23/08/08, 06:50
Marco:
mischien een ander installatiebedrijf in de hand nemen?
Gezien het feit dat dit niet de eerste keer is en vermoedelijk wederom heeft te maken met overbelasting van kabels en of schakelaars had een goede electromonteur dit allang van te voren zien aankomen en maatregelen kunnen treffen.
gezien de aard van de storing... hoedje af voor de snelheid dat de problemen "opgelost zijn".
Al dan niet tijdelijk, maar de klanten zijn uit de nood geholpen.
succes
Helaas is de nasleep ervan vaak net zo erg.
Filesystems die verneukt zijn, klanten die vragen komen stellen, schadeclaims, en dat soort dingen.
Na een storing stopt het helaas niet..
Overigens dank ik Glenn van GrafiX voor de goede hulp die hij ons geboden heeft, aangezien wij niet direct op locatie konden zijn.
Maar er was maar hooghuit 1 min last onze leverancier zit namelijk ook bij Netrouting. Maar de laatste tijd is er veel loss en pieken in het Alphen netwerk. Heeft dit met interxion3 te maken of staat het netwerk van netrouting in Alphen totaal los van jullie Technotop?
Wij hebben er geen moment uitgelegen in Alphen a/d Rijn en hebben niks te maken met het Technotop netwerk.
Mocht je verdere toelichting wensen kan je natuurlijk altijd een mailtje sturen maar ik denk dat het topic verder voor zich spreekt.
Wij hebben er geen moment uitgelegen in Alphen a/d Rijn en hebben niks te maken met het Technotop netwerk.
Mocht je verdere toelichting wensen kan je natuurlijk altijd een mailtje sturen maar ik denk dat het topic verder voor zich spreekt.
Jij ook een beetje bijgekomen?
Jij ook een beetje bijgekomen?
Niet (nauwelijks) geslapen :)
Niet (nauwelijks) geslapen :)
Met jouw vele anderen ;) Marco beweerde 2 uur van zijn leven ingeleverd te hebben, en ik kan me daar wat bij voorstellen.
<persoonlijke sores aan>Mijn nachtrust heeft het ook iets minder gedaan vanwege het volledig verdwenen zijn van mijn array op mijn RAID-kaart. Dacht je veilig te zitten, niet dus :(</persoonlijke sores uit>
Storing is opgelost, melding van Grafix is neergezet, topic kan dicht.
Klanten dienen hun leveranciers aan te spreken voor de rest.