Bekijk Volledige Versie : Stroomstoring Rotterdam (Spaanse Kubus)
Op dit moment is er een grote stroomstoring in Rotterdam gaande.
Het DC draait op de noodvoorzieningen.
Verdere info volgt.
Op dit moment is er een grote stroomstoring in Rotterdam gaande.
Het DC draait op de noodvoorzieningen.
Verdere info volgt.
Veel succes ermee! (jullie rennen lekker heen en weer op de webcams :W: )
Merk het inderdaad. Servers in het We Dare netwerk in Rotterdam liggen plat.
Bedankt voor snelle melding, succes ermee.
lekker is dat,
onze eigen server komtn niet meer terug..
wordt weer een ritje spaanse kubus..
Wat is dat met de stroom toch de laadste tijd?
Wat is dat met de stroom toch de laadste tijd?
Krijg toch sterk de indruk dat het bijvoorbeeld bij Eneco of een andere engergie leverancier niet helemaal goed zit.
We draaien op de generatoren, het probleem ligt bij de hoofdstroomaanvoer (Eneco)
SebastiaanStok
11/10/06, 15:32
Ik wouw al een mailtje sturen naar I3D :)
Eerst redbus en nu we-dare :( (Hoewel dit niet jullie schuld is)
Mijn server komt niet meer op... hopelijk krijg ik hem via de APC weer aan de gang :(
maar is het heel WeDare of alleen een aantal suites? Ik ben toevallig op loopafstand van WeDare bij een andere klant.. als anderen strax "remote hands" nodig hebben meld me.. Ik ga zo die kant op..
Lol, is Amsterdam niet meer de enige met z'n serie stroomstoringen :)
Niet als een aanval bedoeld, maar puur nieuwschierig. Als je op noodgeneratoren draait, waarom liggen er dan servers plat? Heeft de UPS het niet opgepakt?
In ieder geval, succes er mee, ik weet hoe *** zoiets is.
Martijn P.
11/10/06, 15:40
Altijd klote, zulke stroomproblemen. Succes met alles weer up krijgen.
Volgens Eneco storingsdienst die ik 5 sec geleden aan de lijn had zijn er nog geen storingen geweest en is er ook nog geen storing gaande trouwens?!
Mijn server is weer online gelukkig.
SebastiaanStok
11/10/06, 15:52
Mijn server nog niet :mad: :(
Mijn server nog niet :mad: :(
Van ons wel (I3D)...
14:52:30 up 45 min, 1 user, load average: 0.00, 0.00, 0.00
Niet als een aanval bedoeld, maar puur nieuwschierig. Als je op noodgeneratoren draait, waarom liggen er dan servers plat? Heeft de UPS het niet opgepakt?
In ieder geval, succes er mee, ik weet hoe *** zoiets is.
omdat de UPS niet aanspringt idd
Wij zijn iig gelukkig weer up and running.
Update: De stroomtoevoer naar een van de hoofdtrafo ruimtes van de Spaanse Kubus is op dit moment uitgevallen, hierop draaien de grotere telcos zoals wij, Interoute, Tele2, etc. deze partijen zitten nu dus zonder stroomaanvoer.
Eneco is ter plaatse en we hopen dat dit zo spoedig mogelijk wordt opgelost.
Zover we nu kunnen zien hebben de klanten op de 4e etage geen problemen ondervonden, een gedeelte van de klanten op de 7e etage wel, dit is in onderzoek, als vanzelfsprekend hebben wij voor beide ruimtes UPS installaties staan.
Mijn server nog niet :mad: :(
Kwartiertje terug handmatig aangezet, als ie nog niet werkt, mail even :lovewht:
Counterstrikert
11/10/06, 16:25
En weer alles down :S?!
SebastiaanStok
11/10/06, 16:25
http://webcam3.i3d.nl/view/index.shtml :D :W: Ze zaten te werken word het opeens donker :p
Edit: Webcam doet het niet meer...
Zover we nu kunnen zien hebben de klanten op de 4e etage geen problemen ondervonden,
Hier toch echt wel. Een minuut geleden is een SSH verbinding nog verbroken, alles van ons is momenteel offline. Dit is minimaal de tweede keer vandaag.
Hopelijk wordt het snel opgelost..
EDIT: inmiddels weer up. Twee keer een storing geweest, 14:11 en 15:28.
http://webcam3.i3d.nl/view/index.shtml :D :W: Ze zaten te werken word het opeens donker :p
Edit: Webcam doet het niet meer...
Diesel op?
SebastiaanStok
11/10/06, 16:29
Volgens mij is de noc overbelast :) Die kan ik nu ookal niet meer berijken.
Hier ligt ie (opnieuw) plat. Hoop dat het snel weer begint te draaien.
EDIT: werkt weer. Nu blijft ie hopelijk up.
Toch verrot dat iedereen N+1 heeft en de N+1 zo vaak niet werkt. N+2 wie biedt ;)
SebastiaanStok
11/10/06, 16:37
Me server doet het nog steeds niet :(
Wel jammer, nu in de korte tijd dat we bij I3D hangen al 3x een (kleine) storing mee gemaakt. Waarvan 2x vandaag...:
15:44:11 up 10 min, 1 user, load average: 0.00, 0.01, 0.00
Hier kan I3D verder ook weinig aan doen, maar dat terzijde.
Al onze dedicated servers draaien weer, hopen dat ie er nu niet weer uitklapt :(
De hoofdstroomvoorziening is hersteld, klanten op de 4e die hun systemen op de B-feed (met het label BREAK) hebben aangesloten zonder redundant voeding kunnen een spanningsdip hebben ondervonden dit is dan ook nadrukkelijk een feed voor redundant systemen.
Het probleem op de 7e etage is in onderzoek en (directe) klanten zullen hiervan schriftelijk op de hoogte worden gesteld.
Het volledige IP netwerk is overigens blijven draaien, mochten er bij specifieke klanten problemen zijn (firewalls etc.) dan kunnen ze contact opnemen met het bekende support nummer.
SebastiaanStok
11/10/06, 17:00
Mooi ik kan de server van Rollerscapes ook weer berijken :)
Alleen geen http... of die moet nog starten of die staat vast :mad:
WAT !! :eek: nu doet hij weer niet :( :X
Counterstrikert
11/10/06, 17:02
Ploeps, weer alles eruit, begint nu irritant te worden!
Opnieuw time-out. Mag hopen dat het probleem snel structureel wordt opgelost. Dit kan ik mijn klanten niet voorschotelen.
Eneco ligt er wederom uit, we blijven nu op de generatoren draaien tot Eneco met een structurele oplossing komt.
Counterstrikert
11/10/06, 17:07
Jammer dat ik niets aan de generatoren heb?
Jammer dat ik niets aan de generatoren heb?
Alles wordt nu gevoed door de generatoren zowel break- als no-break.
Zolang wij op generatoren draaien hebben wij dus gegarandeerde stroom.
Werken de generatoren op de 7e etage nu ook?
M'n server is daar momenteel nog steeds down.
Counterstrikert
11/10/06, 17:14
Geen idee welke etage ik sta (dedi) maar is nog steeds down.
Werken de generatoren op de 7e etage nu ook?
M'n server is daar momenteel nog steeds down.
Van mij is up... Alleen benieuwd hoeveel keer die nog goed blijft booten als de stroom er steeds zo vanaf gaat.
Werken de generatoren op de 7e etage nu ook?
M'n server is daar momenteel nog steeds down.
Zal niet snel online komen als je de functie in je bios niet aan hebt staan.
Werken de generatoren op de 7e etage nu ook?
M'n server is daar momenteel nog steeds down.
Zowel de 4e als 7e etage worden gevoed door de generatoren.
Zijn er geen UPS systemen die e.e.a. opvangen als Eneco geen stroom levert en de generator(en) nog niet draait?
Zal niet snel online komen als je de functie in je bios niet aan hebt staan.
Staat aan, hoop alleen maar dat filesystem / disks de reboots overleven :/
SebastiaanStok
11/10/06, 17:19
http://webcam2.i3d.nl/view/index.shtml
Kan iemand uiitleggen wat dit nu weer is :huh:
Zijn er geen UPS systemen die e.e.a. opvangen als Eneco geen stroom levert en de generator(en) nog niet draait?
Dit heb ik zojuist al aangegeven, overal staan UPSen tussen alleen op de 7e etage zijn er een aantal groepen die problemen geven.
Helaas hebben wij nog niet de tijd gekregen om de storing in de UPS op 7 te onderzoeken vanwege het af en aan schakelen van de Eneco feed.
Nogmaals 85% van de klanten in Rotterdam ondervinden op dit moment geen problemen daar de UPS en generatoren de spanning over hebben genomen.
Counterstrikert
11/10/06, 17:23
http://webcam2.i3d.nl/view/index.shtml
Kan iemand uiitleggen wat dit nu weer is :huh:
We mogen blijkbaar niet zien wat ze doen.
Net weer terug uit Spaanse Kubus.
De stroom toevoer is net een flipperkast, zo zit je te werken en zo is het weer donker.
Tevens kan het zijn dat er hier en daar een aantal zekeringen zijn door geslagen. dit i.v.m met het opstarten van zware servers ter gelijkertijd.
Geloof dat de problemen grotendeels nu wel zijn opgelost.
http://webcam2.i3d.nl/view/index.shtml
Kan iemand uiitleggen wat dit nu weer is :huh:
Dat is dat er hard gewerkt wordt om zo snel mogelijk servers online te brengen van colocatie klanten :)
Uiteraard zijn we gewoon bereikbaar op gsm storingsnummer en per e-mail :)
Vaste telefoon helaas niet omdat KPN voip in Rotterdam ook helaas last had van deze stroomstoring
SebastiaanStok
11/10/06, 17:26
Mijnes ook :)
Even kijk waarom die fucking HTTPd nu weigert...
Edit: Oke de demon zelf draaide wel maar bleef hangen :mad: nu ik hem heb gestopt gaat hij weer verder starten :o
Edit2: Stome pglogd, o wat zal ik blij zijn als ik iets anders heb voor **** leier...
Even afgezien van alle oorzaken .....
Nu is het zo, dat als er omgeschakeld wordt er een power dip is, waardoor alles gaat rebooten. Een aantal servers is bewust offline gehaald om schade te voorkomen (hardware, databases). Mijn vragen (ik denk voor iedereen wel interessant):
- als er teruggeschakeld wordt naar netstroom, hebben wij dan weer een dip?
- zal We Dare een sein 'veilig' geven als wij alles veilig weer online kunnen zetten?
- Welke termijn moeten wij aan denken om alles weer online te kunnen gooien zonder dip?
Met name dat ieder keer de servers hard uitgezet worden, baart mij wat zorgen.
Keenondots
11/10/06, 17:43
Worden de noodvoorzieningen niet live getest iedere maand? Dan komen dit soort zaken toch vooraf naar boven?
Als er nog mensen zijn die een server hebben die niet bereikbaar is: stuur me een PM en we gaan ernaar kijken :)
Zoals het er nu uitziet draait alles sinds 40 minuten weer goed! :)
Wij geven een sein veilig zodra we er zeker van zijn dat alles weer in orde is.
Momenteel is de stroom op de hoofdvoeding terug maar is deze nog niet ingeschakeld, half electrotechnisch Nederland heeft zich inmiddels verzameld in de traforuimte dus we gaan er van uit dat ze met een passende oplossing komen.
Helaas kan ik op dit moment niet meer doen dan de updates posten met de status, als vanzelfsprekend wordt naar de problematiek op de 7e etage een uitgebreid onderzoek ingesteld.
FunnyMedia
11/10/06, 17:59
Ik moet toegeven dat We Dare de stroom problemen beter onder controle hebben dan bij redbus.
0,0 van gemerkt en mijn server blijft keurig draaien!
Succes We Dare en laar RedBus eens zien hoe je een datacenter moet zijn ;-)
I3D: je zak chips is van de cam afgevallen ;)
Succes met de herstelling, hopelijk loopt het vlot!
Maar die chips was wel lekker! :)
SebastiaanStok
11/10/06, 18:05
http://www.rollerscapes.net/nieuws/35-Stroomstoring-zorgt-voor-downtime.html
Een tijd geleden heeft een zelfde soort van voorval plaats gevonden in Redbus Interhouse te Amsterdam,
echter heeft die partij zeer slecht geïnformeerd naar alle betrokkene.
In dit geval, heeft We-Dare alle betrokkene prima op de hoogte gehouden, hier zijn wij dan ook dankbaar voor!
Ik ben nu wel zichtbaar zie ik :(
wij draaien inmiddels wel weer (3 servers), was wel en duur geintje zo 2 uur bijna down te liggen. We merken wel dat er nog een vertraging is met oproepen van pagina's
I3D: je zak chips is van de cam afgevallen ;)
Succes met de herstelling, hopelijk loopt het vlot!
Ja hoor alles draait al weer een tijdje, maar zakjes chips hebben we niet op de datavloer, helaas! :lovewht: :lovewht:
http://www.rollerscapes.net/nieuws/35-Stroomstoring-zorgt-voor-downtime.html
Sjees, waar gaat dat nou weer over? Triest.
Sjees, waar gaat dat nou weer over? Triest.
Sorry, maar welk nut heeft jouw opmerking? Als Rollerscapes zijn klanten op de hoogte wilt brengen dan moet dat geen probleem zijn.
Typisch WHT :lovewht:
Betreft een persoonlijke mening van de persoon. Als hij de situatie zo heeft ervaren, mag hij dat toch wel melden? Of hij dat op dit forum dient te vertellen, is een ander verhaal.
Ik vind de conclusie wel kort door de bocht mijn persoonlijke mening.
Een tip verander je bericht even de tekstindeling ziet er zeer amateuristisch uit.
Met vriendelijke groet,
Jan Post
Nou sorry hoor, maar een "persoonlijke mening" over een situatie bij Redbus, waar hij niet eens klant is, vind ik een beeeetje triest.
Daar gaat het me alleen om.
Daar heb je een punt, maar hoeveel van dergelijke berichten worden op het internet geplaatst? Hetzelfde gebeurt op dit forum, waar ervaringen worden geplaatst door mensen die geeneens klant zijn van het betreffende bedrijf.
Ik kan me er niet druk om maken.
Ik maak me er ook niet druk om, ik geef (net zoals hij) gewoon m'n mening dat ik het triest vind. Hij vindt het schijnbaar iets wat hij moet melden cq quoten in dit topic, dus dan neem ik aan dat er een reactie op mag komen.
Natuurlijk mag je er een reactie op geven. Ik kan je niet eens ongelijk geven met je post. In eerste instantie dacht ik namelijk dat Rollerscapes een persoonlijke website was, geen onderneming.
Ik maak me er ook niet druk om, ik geef (net zoals hij) gewoon m'n mening dat ik het triest vind. Hij vindt het schijnbaar iets wat hij moet melden cq quoten in dit topic, dus dan neem ik aan dat er een reactie op mag komen.
Forumomschrijving:
Melding van Netwerk Storingen en Updates
Problemen met toegang tot je server(s) en/of netwerk? Plaats ze hier en houd iedereen op de hoogte. (Bedoeld voor zowel providers als afnemers)
Misschien ben je in de war met het offtopic forum? Of het Fok! forum waar het gewoon is om andere mensen aan te vallen om iets kleins?
Laten we dit topic eens volwassen houden en de offtopic kleutertalk eruit laten :lovewht: :)
SebastiaanStok
11/10/06, 18:52
Over het gedoe van Redbus is wat ik uit persoonlijke mening heb ervaren, ik heb genoeg klachten op WHT over de Redbus kwestie gehoord.
Bericht kon inderdaat iets neter, maar ik wilden de klanten zo snel moggelijk informeren aangezien ik niet de luxe van NOC server heb.
En ben hier in een beetje te koort geschoten.
Maar ook omdat een licht last heb van stres:
- OpenSSL die niet doet wat ik wil
- Slecht geslapen
- En dan de server die er uit vliegt..., en dan vervolgens niet succesvol terug online komt, meden door een steeds terug komend probleem, wat nog steeds moet worden vervangen.
Het is jouw mening over mij maar, maar als ik iets fout doet is dat mijn verlies :)
Inmiddels is de hoofdstroomaanvoer bijna volledig hersteld, klanten op de 4e etage draaien inmiddels volledig op Eneco energie.
De 7e etage wordt momenteel nog gevoed door de generator, wij hopen deze binnen een half uur weer (zonder spanningsdip) terug te kunnen schakelen.
Klanten die eerder problemen hebben ondervonden worden telefonisch/mondeling op de hoogte gesteld op het moment dat de omschakeling plaatsvind.
SebastiaanStok
11/10/06, 19:02
Ik hoop maar dat alles nu goed gaat.
Vooralvast veel sucees :)
Wij wachten het af op de 7e en krijgen graag een seintje voordat het gebeurd !!! suite nr. 1
ligt het nu weer plat?
18:18 uur, server niet meer bereikbaar
Edit: 18:21 uur weer alles up..
Keenondots
11/10/06, 19:22
Volgens mij is het niet helemaal goedgegaan die bijschakeling...?
Volgens mij is het niet helemaal goedgegaan die bijschakeling...?
Licht ging 2x uit..
http://www.rollerscapes.net/nieuws/35-Stroomstoring-zorgt-voor-downtime.html
Ik vind het helemaal geweldig dat je jouw klanten zo op de hoogte houd en dat je happy bent met je provider dat ze het zo netjes aangeven. Maar het feit dat jij in jouw message zegt
"Een tijd geleden heeft een zelfde soort van voorval plaats gevonden in Redbus Interhouse te Amsterdam,
echter heeft die partij zeer slecht geïnformeerd naar alle betrokkene."
Slaat natuurlijk absoluut nergens op..
Je haalt op deze manier een andere partij naar beneden waar je (waarschijnlijk) geen rechtstreeks zaken mee doet. Hoe kun je deze uitspraak doen dan?!! Ik vind namelijk (als klant van redbus) dat ik prima op de hoogte ben gesteld door redbus.
De hoofdstroomtoevoer voor de 7e etage is hersteld.
In overleg met de UPS leverancier is de UPS op de 7e etage herstart wat normaal geen problemen op zou moeten leveren, murphy's law besloot helaas anders.
Zover we nu kunnen zien is het volledige stroomnet weer hersteld en zijn er geen foutmeldingen.
De heren die onder luid gegil zijn geschrokken van de verlichting die aan en uit ging (2 seconden) bied ik hierbij mijn excuses aan, de stroomvoorziening voor het licht zit niet achter de UPS en werd tijdelijk niet meer gevoed door de generator terwijl deze aan het omschakelen was naar Eneco energie.
De hoofdstroomtoevoer voor de 7e etage is hersteld.
In overleg met de UPS leverancier is de UPS op de 7e etage herstart wat normaal geen problemen op zou moeten leveren, murphy's law besloot helaas anders.
Zover we nu kunnen zien is het volledige stroomnet weer hersteld en zijn er geen foutmeldingen.
De heren die onder luid gegil zijn geschrokken van de verlichting die aan en uit ging (2 seconden) bied ik hierbij mijn excuses aan, de stroomvoorziening voor het licht zit niet achter de UPS en werd tijdelijk niet meer gevoed door de generator terwijl deze aan het omschakelen was naar Eneco energie.
:D Viel gewoon op. Meestal betekend licht uit > stroom weg. :)
SebastiaanStok
11/10/06, 20:05
Ik vind het helemaal geweldig dat je jouw klanten zo op de hoogte houd en dat je happy bent met je provider dat ze het zo netjes aangeven. Maar het feit dat jij in jouw message zegt
"Een tijd geleden heeft een zelfde soort van voorval plaats gevonden in Redbus Interhouse te Amsterdam,
echter heeft die partij zeer slecht geïnformeerd naar alle betrokkene."
Slaat natuurlijk absoluut nergens op..
Je haalt op deze manier een andere partij naar beneden waar je (waarschijnlijk) geen rechtstreeks zaken mee doet. Hoe kun je deze uitspraak doen dan?!! Ik vind namelijk (als klant van redbus) dat ik prima op de hoogte ben gesteld door redbus.
Hmm ja zal ik morgen even veranderen :X
Kan het zijn dat het wederom mis is op vloer 7? Mijn server is namelijk weer offline. Of ligt het nu aan iets anders :cool:
SebastiaanStok
11/10/06, 21:20
In de hoop da dit word gemerged :)
Ik heb de melding verwijdert.
Edit: Had ik ook maar kon twee seconde daar voor nog pingen, en twee seconde na de time-out weer berijken :huh:
Edit2: Man wat is het opeens donker daar, op webcam1 zie ik meer lichtjes dan ik zou op de kermis :p
Kan het zijn dat het wederom mis is op vloer 7? Mijn server is namelijk weer offline. Of ligt het nu aan iets anders :cool:
Op dit moment geen storing :)
Alles draait lekker zoals het moet.
Als er een colo- of dedicated server down is kan je het best contact opnemen met jouw leverancier.
Jep,
Alles is verholpen, denk dat topic weg kan.
Wellicht ter afsluiting officiele verklaring van deze downtime? :P
hier ligt nog alles behoorlijk plat. Server draait nog niet.
21:20h
hier ligt nog alles behoorlijk plat. Server draait nog niet.
21:20h
Zou toch even contact op nemen met je leverancier.
Het kan zijn dat je server niet automatich aanspringt waneer de stroom wordt aangeschakeld.
Kan ook zijn dat er nog ergens 1 groep uit ligt, maar dit moet dan aan de zekeringen liggen.
Blijkt dat er nog wat storingen zijn met switches e.d.
Nog even zweten denk ik. . . .
Laatste Update:
De volledige stroomvoorziening is hersteld en al enige uren stabiel.
Een defect onderdeel aan de UPS op de 7e etage is direct vervangen.
Een gedetailleerd verslag aangaande deze storing zal deze week naar de (directe) klanten opgestuurd worden.
Het We Dare netwerk is op dit moment ook volledig stabiel bij ons zijn er geen switchstoringen.
Klopt. Sinds de laatste licht-uitval is de stroom verder stabiel gebleven.
Nou Topic kan dicht. Goede nachtrust na deze drukke dag gewenst aan iedereen!
Probleem opgelost gelukkig. Uiteindelijk viel de downtijd nog wel te overzien.
Dank aan We Dare voor de snelle berichtgeving.
Downtime wel maar alle nasleep is zo verveld servers kunnen er niet zo goed tegen om steeds pats boem aan en uit te gaan maar ja wat doe je eraan .....
tsja waarom dubbel doen als er één in DC zit ..... moet ie het wel doen natuurlijk, ik overweeg het wel voor onze main server en switches.
Het probleem is inmiddels alweer een tijd opgelost, slotje.