Bekijk Volledige Versie : Stroomstoring We-Dare 7e Etage
ErikKosters
03/03/07, 00:49
Er is zojuist een storing geweest in de Spaanse Kubus / We Dare te Rotterdam. Het lijkt een dip geweest te zijn.
Me collega was tijdens de storing aanwezig, licht ging uit en weer aan. Wijzelf zijn druk bezig alles weer online te zetten.
Vervelend.. zit je er ook krap een week :(.
Ja 2e keer alweer in korte tijd, ook wij zijn down helaas :(
Weet je zeker dat je zelf niet de oorzaak bent? :P
fokkingservers
03/03/07, 00:59
en lekker.. wij zijn ook met onze 24 machines plat
VantilborgICT
03/03/07, 01:10
Ik hoorde net van iemand op locatie had gesproken dat ze op dit moment op de generatoren draaien.
Deze wist mij ook te vertellen dat een volgende onderbreking van (bij omschakeling van generatoren -> netspanning) waarschijnlijk is.
En ik maar denken dat wedare hun ups gefixed had :)
Ik zit ook op feestje, hoor je dit verhaal. Nu zo'n 50 servers down, collega onderweg en even afwachten. Ik ben benieuwd wat hier de oorzaak van was. WeDare kennende doen ze hun uiterste best dit op te lossen maar het blijft een rotprobleem.
Goed dat wij zijn verhuist, aangezien wij ook in dit rack zaten.
Denkend dat het nu goed zou werken.... hoop dat die generatoren snel werken en dat dit de laatste keer is voor 2007.
Was er vanmiddag ook iets aan de hand?
Zie dat ze vanmiddag ook een flinke dip hadden in het netwerk verkeer.
Vervelend.
Succes aan de getroffenne
ErikKosters
03/03/07, 01:16
Ik wil mobiele stroom!
@NWO: Nee ik ben niet de oorzaak :).
Hoop overigens niet dat dit weer hetzelfde liedje wordt als eind vorig jaar.. fingers crossed imo.
Ik wil mobiele stroom!
Ik wil goede UPS.
Je zegt dat je collega bezig is met servers uppen. Heb je al stroom :)?
@digires Vanmiddag > Was er een server die gehacked was en alle ip's naar zich toe trok. Dit was opgelost rond 17.00.
ErikKosters
03/03/07, 01:23
Ik wil goede UPS.
Je zegt dat je collega bezig is met servers uppen. Heb je al stroom :)?
Ja het was een stroom-dip lijkt het.. Commentaar van mijn collega: Was ineens donker, lichten etc alles uit.. En pling.. weer aan. Denk hoogstens 3 a 5 sec. zonder spanning.. Maar toch wel alles plat :X.
Begint overigens wat drukker te worden @ DC nu.
En de uptime weer op zero :(.
Alweer? Sught, ik dacht ze hadden die UPS'en op 7e gefixt?
VantilborgICT
03/03/07, 01:32
Alweer? Sught, ik dacht ze hadden die UPS'en op 7e gefixt?
Dan was je niet de enige :)
ErikKosters
03/03/07, 01:36
Ben vandaag al @ DC geweest, denkt ook een keer vroeg te kunnen slapen :(.
Ben vandaag al @ DC geweest, denkt ook een keer vroeg te kunnen slapen :(.
Ik had verjaardag van mijn oma die 80 werdt en nu is.
Maar even ontopic, weet iemand nu al waar alles op draait?
Net stroom of generatoren? Want ik weet hoe het de vorige keer ging...
aan / uit aan / uit enz :S
ErikKosters
03/03/07, 01:41
[root@www01 ~]# uptime
00:39:46 up 1:06, 1 user, load average: 0.15, 0.22, 0.20
Draait momenteel dus iets meer dan 1 uur alweer, maar volgens mij op generatoren. Dit kan ik niet bevestigen.
Geen idee, alles wat ik weet is dat het 3 secs weg was en nu weer online... of dat nu de main feed is of backup geen idee.
1ding weet ik nu wel... als het zo gaat worden als de vorige keer ga ik schade claimen.
[root@www01 ~]# uptime
00:39:46 up 1:06, 1 user, load average: 0.15, 0.22, 0.20
Draait momenteel dus iets meer dan 1 uur alweer, maar volgens mij op generatoren. Dit kan ik niet bevestigen.
Niemand van WeDare ofzo aanwezig waar je het ff aan kunt vragen?
ErikKosters
03/03/07, 01:44
Ik ben momenteel niet in het DC maar mijn collega. Deze is druk met alles weer up and running te maken daar, en wil ik dus zo min mogelijk storen.
We Dare moet onderweg zijn, dus we weten spoedig meer hoop ik :)
Edit: Ik hoor net van mijn collega:
- Alles draait op diesel > de UPS heeft het niet overgenomen.
Grote kans dat het andersom zelfde is :(
Als ze nu op backup draaien en dadelijk weer gaan wisselen... suc6 :P
Hoop dat ie genoeg koffie bij zich heeft.
:P heb ik bewust sites geplaatst bij een andere locatie omdat mijn server vaak problemen had :D valt het in Rotterdam uit, vervelend maar ja niks aan te doen he
hopelijk krijgt dat datacentrum alles snel online :D en dan hopelijk komt de webserver weer snel online :P dan merken me klanten het misschien niet eens, afgezien van de door mij verzonden mail naar hun :P hihi
greets en fijne avond!
Camiel
hmm die wordt wel na 24 uur opnieuw verzonden door de smtp van de afzender :)
Erg fijn, inmiddels meer dan een uur downtime...
WeDare had de vorige keer beterschap toegezegd. Was dat dan allemaal geblaat?!!
Wat is er gebeurd, waarom is dit gebeurd, wanneer is er een schakeling tussen noodstroom en netstroom?
En gaat net als de vorige keer weer alles plat dan?
1ding weet ik nu wel... als het zo gaat worden als de vorige keer ga ik schade claimen.
Mee eens...
Wat, waarom en wanneer.. zoiets mag niet gebeuren, punt uit.
Laten we schadeclaims bewaren voor een ander topic :)
Eerst even zien wat er gaat gebeuren, dan zien we daarna wel verder!
Ben erg benieuwd of ze nu draaien op backup of niet, en waarom iedereen altijd aan de stroomschakelkast moet in een suite...
Eigenlijk belachelijk. Vorige keer was al sowieso dat het niet mocht gebeuren. Was ons toegezegd dat het niet meer zou gebeuren en dat ze het zouden fixen.... Ik zie het, geweldige actie!!!
veel beloven weinig geven...
Laten we schadeclaims bewaren voor een ander topic :)
Eerst even zien wat er gaat gebeuren, dan zien we daarna wel verder!
Ook daar mee eens...
Eerst weer alles up zien te krijgen....
Mja kan toch echt niet dat na de vorige keer dezelfde problemen weer voorkomen. Ik neem aan dat bedrijven waar vrijwel alles afhangt van een betrouwbare infrastructuur zulke zaken gewoon op orde maakt. De vraag waarom de UPS het nu niet heeft overgenomen moet wel snel beantwoord worden, dit mag gewoon niet gebeuren.
Vreemd. Ik heb alleen 1 server nu waar de uptime weer op 0 staat sinds ergens 11:50 of zo. De andere hebben nog een uptime van dagen. :S Kreeg ook alleen van 1 server sms bericht. Enig idee hoe dat kan? Allemaal zitten in dezelfde rack en aan dezelfde stroom (Wel hebben ze dual stroomverbindingen maar ik begreep ooit van ze daar dat het 1 feed was?)
Hopen dat de "terugschakeling" wel goed gaat.
mijn webhost heeft de server weer online! HULDE!!! :D
hopelijk blijft alles online ook als dalijk alles weer op netspanning draait.
ik ga slapen, truste!
VantilborgICT
03/03/07, 02:07
En daar gaan we weer, weer offline!
Weer een powerfailure... nu hopen dat ze goed verder gaan op netspanning
@nugget: huil maar verder, lag er weer uit ;)
grom tevroeg gejuicht! :(
ErikKosters
03/03/07, 02:09
Daar ging die weer :(. Hier weer de servers up, op enkeling na. Nu moet het wel afgelopen zijn jongens!
en de enigste server waar ik een reboot van verlang (m'n prive test server) hangt natuurlijk aan de ups in ons rack. :/
Lang leve betrouwbare hardware, met live test.
Mag toch wel hopen dat WeDare 1x per maand een live UPS test doet ;)
en de enigste server waar ik een reboot van verlang (m'n prive test server) hangt natuurlijk aan de ups in ons rack. :/
Ga dan maar bidden voor een downtime van de stroom voor 40 mins, dan reboot die ook.
ErikKosters
03/03/07, 02:17
Lang leve betrouwbare hardware, met live test.
Mag toch wel hopen dat WeDare 1x per maand een live UPS test doet ;)
Ga dan maar bidden voor een downtime van de stroom voor 40 mins, dan reboot die ook.
Doe maar niet..!.. Vindt dit lang genoeg :). Vindt het wel raar, met de technologie van vandaag de dag moet dit toch niet meer nodig zijn. Ofwel?
Weet jij al iets Erik? Main Stroom? Backup?
Ga dan maar bidden voor een downtime van de stroom voor 40 mins, dan reboot die ook.
How about meer dan anderhalf uur?
Webservers zijn tussen de storingen door nog niet up geweest hier...
Dus ik hoop dat alles nu snel voorbij is! (als in, op een positieve manier)
ErikKosters
03/03/07, 02:20
Helaas niet, maar denk het eigenlijk wel. Zonet had ik me collega @foon en hoorde als het goed is op achtergrond, we zitten weer op de normale spanning.
Ok dan spelen nu 2 dingen:
1. wrm was main feed weg?
2. bestaan er ups'en of zijn het lege doosjes?
Alles zit nu weer op Net Stroom!
Exacte oorzaak probleem horen we nog van We Dare.
@ douma, dat is wat je We-Dare / je colocatie provider moet vragen :)
De hamster die voor stroom zorgt was moe. dat zal wel oorzaak geweest zijn.
Alles zit nu weer op Net Stroom!
Exacte oorzaak probleem horen we nog van We Dare.
@ douma, dat is wat je We-Dare / je colocatie provider moet vragen :)
Hmm mja, juig maar niet tevroeg, tijdje geleden zaten we al eens met zoiets... toen ging het ook... goed.. mis... goed... mis.. etc
ErikKosters
03/03/07, 02:34
*juicht zachtjes*
Zojuist collega aan de telefoon gehad, bij ons is bijna alles weer up op enkel gameservers na.. Zitten nu inderdaad weer op de hoofd feed. Hopen dat het nu eens en voor altijd opgelost is.
hopen kom je niet ver mee :P
hopen kom je niet ver mee :P
Jij moet leren minder te flamen. Je weet de oorzaak niet eens..
VantilborgICT
03/03/07, 02:57
De oorzaak van het feit dat de mainfeed eruit is geknald vind ik niet zo interresant, waarom de UPS het voor de 2e keer faalt om alles over te nemen zou ik wel graag willen weten...
Dames, Heren,
Helaas liet Murphy ons niet met rust en hebben we wederom een stroomstoring van Eneco mogen ondervinden.
Dit op krap 5 weken voor de levering van onze nieuwe UPS voor de 7e etage.
Zoals de klanten misschien weten hebben we laatste keer al het vertrouwen opgezegd in de UPS van AEG, echter is het niet zo dat een nieuwe installatie binnen een kort termijn neergezet kan worden.
Ondanks de bevestigingen van onze leverancier dat de UPS volledig functioneel is hebben we wederom problemen ondervonden op onze UPS waardoor 50% van onze klanten op de 7e etage zonder stroom kwam te zitten voor 1-3 seconden (opstart tijd van de generatoren).
De stroomvoorziening van Eneco is momenteel hersteld en de directe klanten zullen als vanzelfsprekend een update krijgen van de onstane situatie en de daaropvolgende aanpassingen/verbeteringen.
Rest mij nog de verontschuldigingen aan te bieden voor de onstane situatie en alle directe en in-directe klanten zijn maandag welkom voor een bakje koffie of andere versnapering op het We Dare kantoor te Rotterdam waarin desgewenst de toekomstplannen worden uitgelegd.
De personen die hier gebruik van willen maken kunnen een mail sturen aan de bekende We Dare e-mail adressen.
Met vriendelijke groet,
Het We Dare Team
(die in volledige bezetting aanwezig was ;-) )
P.s. De andere We Dare ruimtes zijn tijdens de outage volledig op de noodstroomvoorziening verder gegaan.
Duidelijk uitleg, bedankt.
Alleen waarom duurd het leveren van een nieuwe UPS zolang? Kon men dan gewoon niet even tijdelijk de oude in reparatie zetten zodat men tenminste die tijd gedekt had tot de nieuwe er was?
ErikKosters
03/03/07, 03:05
Dames, Heren,
Helaas liet Murphy ons niet met rust en hebben we wederom een stroomstoring van Eneco mogen ondervinden.
Dit op krap 5 weken voor de levering van onze nieuwe UPS voor de 7e etage.
Zoals de klanten misschien weten hebben we laatste keer al het vertrouwen opgezegd in de UPS van AEG, echter is het niet zo dat een nieuwe installatie binnen een kort termijn neergezet kan worden.
Ondanks de bevestigingen van onze leverancier dat de UPS volledig functioneel is hebben we wederom problemen ondervonden op onze UPS waardoor 50% van onze klanten op de 7e etage zonder stroom kwam te zitten voor 1-3 seconden (opstart tijd van de generatoren).
De stroomvoorziening van Eneco is momenteel hersteld en de directe klanten zullen als vanzelfsprekend een update krijgen van de onstane situatie en de daaropvolgende aanpassingen/verbeteringen.
Rest mij nog de verontschuldigingen aan te bieden voor de onstane situatie en alle directe en in-directe klanten zijn maandag welkom voor een bakje koffie of andere versnapering op het We Dare kantoor te Rotterdam waarin desgewenst de toekomstplannen worden uitgelegd.
De personen die hier gebruik van willen maken kunnen een mail sturen aan de bekende We Dare e-mail adressen.
Met vriendelijke groet,
Het We Dare Team
(die in volledige bezetting aanwezig was ;-) )
P.s. De andere We Dare ruimtes zijn tijdens de outage volledig op de noodstroomvoorziening verder gegaan.
Mag ik vragen waarom deels wel en deels geen noodstroom hebben mogen ontvangen; althans optijd zodat er geen downtime had plaatsgevonden? Overigens hoop ik dat jullie UPS leverancier wat kan opschieten :P.
Verder duidelijk uitleg, bedankt!
Rest mij nog 1 vraag; Als de nieuwe UPS wordt geinstalleerd, komt er dan nogmaals een onderbreking van de stroomfeed of kan dat zonder problemen worden aangesloten?
UPS kan normaal zonder downtime gedaan worden volgens mij, in iedergeval bedankt voor het bericht WD, maar toch zonde van jullie goede reputatie. verhuizen is toch echt iets waar je over na gaat denken wanneer er zoveel en zovaak van die "kleine dingen" aan de hand zijn.
Antwoord op alle (logische) vragen:
Een UPS van de grote die wij nodig hebben staat helaas niet bij de leveranciers in de schappen en wordt op klantwens gefabriceerd.
Vandaar dat we niet a-la-minute een nieuwe UPS hebben staan, dit heeft helaas tijd nodig.
We hebben reeds een upgrade plan klaar waarin natuurlijk zo min mogelijk hinder voor de klanten is, bij de plaatsing van de nieuwe UPS zal daarom ook geen stroomonderbreking plaatsvinden.
Sorry hoor, ik vind dit allemaal onacceptabel. Dit betekent dus dat we het nog eens 5 weken zonder UPS'es moeten doen? In het tijdsbestek Augustus -> Maart had dit toch al lang geregeld kunnen zijn(heb er geen verstand van maar levertijd 6+ maanden lijkt mij niet normaal?)
ErikKosters
03/03/07, 03:28
Sorry hoor, ik vind dit allemaal onacceptabel. Dit betekent dus dat we het nog eens 5 weken zonder UPS'es moeten doen? In het tijdsbestek Augustus -> Maart had dit toch al lang geregeld kunnen zijn(heb er geen verstand van maar levertijd 6+ maanden lijkt mij niet normaal?)
Handgemaakt uit China ofzo :). Nee maar zo'n levertijd kan best wel, is niet zomaar gemaakt he.
Of gewoon ff die oude tijdelijk fixen ;)
Mja, je moet rekening houden met van alles hé.
- Ze willen in 1 keer alle apparaten vervangen > Dus veel nieuwe apparaten in één keer.
- Kosten zijn daar ook niet al te laag van.
- Je moet wel een goede plan van aanpak hebben, want stroom is en blijft stroom en dus gevoellig voor alles.
Ik vindt het allemaal best zolang het nu ook maar blijft draaien totdat de nieuwe UPS er is. Anders hebben ze bonje :P
p.s. topic kan wel dicht denk ik :)
ErikKosters
03/03/07, 03:48
Hier draait gelukkig alles weer.
Offtopic: Goedkoop avondje voor i3d, qua traffic :).
Sorry hoor, ik vind dit allemaal onacceptabel. Dit betekent dus dat we het nog eens 5 weken zonder UPS'es moeten doen? In het tijdsbestek Augustus -> Maart had dit toch al lang geregeld kunnen zijn(heb er geen verstand van maar levertijd 6+ maanden lijkt mij niet normaal?)
Geachte heer Vollebregt, Beste Tim,
Nergens in dit bericht geven wij aan dat we de komende 5 weken zonder UPSen zullen draaien, wij zullen ons uiterste best doen om problemen als deze te voorkomen ook in de komende 5 weken.
Vergeet niet dat we van onze leverancier van de huidige UPS de garantie hebben gekregen dat alles 100% was sinds de laatste outage.
Helaas bleek het besluit om het vertrouwen op te zeggen in de huidige leverancier de juiste, echter weerhoud dit ons er niet van om alle noodzakelijke maatregelen te nemen om tot de plaatsing van de nieuwe UPSen een tussen maatregel te nemen waardoor wij wederom 100% uptime kunnen garanderen.
Nogmaals bied ik aan om in een persoonlijk gesprek deze maatregelen te bespreken, ondanks dat u niet direct klant bij ons bent.
Ok, ik bied bij deze mijn excuses aan dat ik dat heb gespeculeerd in mijn vorige post(was nogal pissig omdat mijn avondje stappen verknalt werd ;)
Hier draait gelukkig alles weer.
Offtopic: Goedkoop avondje voor i3d, qua traffic :).
Zal niet veel uitmaken, aangezien ze 95% inkopen maartoch :)
Slotje?
BeneluxGaming
03/03/07, 06:46
Ik ben tevens ook zojuist terug gekomen en het was mijn avond/nacht wel... Wij zaten er op het tijdstip dat alles eruit vloog, alleen me laptop zag ik nog =). Gelukkig was het snel opgelost maar het meerst rotte vond ik toch dat het met overswitchen naar de normale netstroom weer alles eruit vloog. Maar goed, hopen dat het niet vaker voor komt... Topic mag tevens wel op slot , is opgelost.
Problemen zijn opgelost ... dus deze kan idd op slot.