Onderwerp: Stroomprobleem Redbus

Oorspronkelijk geplaatst door JayvD

Ik was op moment van de storing in redbus. Dat alles eruit vloog was omdat er in een keer een piek was in de spanning. Lichten gingen stuk feller branden voor zeer korte tijd en een groot gedeelte lag ineens plat.

Ene zekering hield het wel andere niet.

Echter ondanks dat dit gebeurde ben ik van mening dat redbus voor een constante spanning moet zorgen, er mogen natuurlijk nooit gigantische pieken in zitten.

Dat is toch goed gelukt lijkt me zo

De mail die we van TelecityRedbus kregen vond ik nogal sneu om eerlijk te zijn...

Welke mail? Ik ben geen directe afnemer van Redbus namelijk.

Petje af voor KDIS , vannacht m'n server herinstalled terug online. ff backups terug gegooit wel deel data van deze week kwijt maar shit happens. En tijdens het halen van een extra red bull om de nacht door te komen m'n auto nog paar centimeter korter gemaakt ... kortom een geslaagde dag :-)

Volgend op de berichtgeving van woensdagmiddag en hedenochtend, geven we hierbij een verslag met betrekking tot het incident dat heeft plaatsgevonden op 27 september 2006 in het TelecityRedbus datacenter aan de Gyroscoopweg in Amsterdam.



Om 15.55 uur heeft zich een communicatie fout voorgedaan in het UPS systeem. Als gevolg hiervan is er gedurende een tiende van een seconde een verlaging van het voltage zichtbaar geweest. Hierbij zijn minimale waarden gemeten van 80 Volt. Het is afhankelijk van de voeding hoe uw apparatuur hierop reageert. Direct na de verstoring is de gebruikelijk stroomvoorziening hersteld.

Deze mail Glenn

Dat vind ik toch wel moeilijk om te geloven als ik zie wat er allemaal uit is gevallen.

Oorspronkelijk geplaatst door Wido

Dat vind ik toch wel moeilijk om te geloven als ik zie wat er allemaal uit is gevallen.

Welk deel?

Weet niet of het bij jullie ook raak is geweest, maar een server van een kennis waar ik de login van heb gehad is voor zover ik kon zien niet down geweest. Dus wellicht is het probleem maar heel kort geweest.. Of is niet alles getroffen?

Oorspronkelijk geplaatst door crazycoder

Welk deel?

Weet niet of het bij jullie ook raak is geweest, maar een server van een kennis waar ik de login van heb gehad is voor zover ik kon zien niet down geweest. Dus wellicht is het probleem maar heel kort geweest.. Of is niet alles getroffen?

Ik heb ongeveer 60 servers uit zien vallen die ik na 1:15 pas weer terug had.

Oorspronkelijk geplaatst door crazycoder

Welk deel?

Weet niet of het bij jullie ook raak is geweest, maar een server van een kennis waar ik de login van heb gehad is voor zover ik kon zien niet down geweest. Dus wellicht is het probleem maar heel kort geweest.. Of is niet alles getroffen?

God zeg blijft het zeggen...

Ik was op moment van uitvallen in DC, zoals eerder gemeld ging de spanning wat lager (lichten waren wat minder fel (viel goed op), wat niet echt schadelijk is) en ineens heel fel en toen weer gewoon.

Nadat het feller was geweest was helft van rack uitgevallen (bij andere complete racken). Willekeurig waren er zekeringen om gesprongen. Ene hield het andere niet.

Dat moet dan wel heel appart zijn om te horen dat al die servers in een keer uitgaan, eng zelfs.

Ben wel blij dat ik nu in Easynet sta, want had ook al ruzie met t personneel van telecityredbus.

Zal binnenkort wel een grote leegloop uit redbus komen dan.

Die prijsstijgingen mbt stroom zijn voor ons op tijd gekomen, anderhalve week geleden gemigreerd uit Redbus. Iedereen weer up and running?

TelecityRedbus is een prima datacenter en levert prima service. Voorheen was dit ook al zo maar op een andere manier. Om eerlijk te zijn vind ik het nu een stuk beter dan toen het nog redbus alleen was. Toen was het 1 chaotische ongeorganiseerde organisatie. Nu moet men een e-mail sturen voor remote hands ipv ffe snel bellen enzovoorts.. Ben erg tevreden.

De stroomstoring is een ander verhaal, ik hoop voor alle mensen die een probleem hebben gehad dat alles is goedgekomen. Echter kunnen dit soort dingen overal gebeuren, het is nooit uitgesloten dat het niet gebeurd. Misschien toch verstandig voor de providers hier om uit het budget circuit te gaan en de prijzen wat op te schroeven, met een hogere marge kun je meer apparatuur aanschaffen en dus ook dit soort problemen uitsluiten door in ieder cabinet een A + B voeding te nemen met een evt STS switch of UPS batterijen.

Oorspronkelijk geplaatst door JayvD

God zeg blijft het zeggen...

Ik was op moment van uitvallen in DC, zoals eerder gemeld ging de spanning wat lager (lichten waren wat minder fel (viel goed op), wat niet echt schadelijk is) en ineens heel fel en toen weer gewoon.

Nadat het feller was geweest was helft van rack uitgevallen (bij andere complete racken). Willekeurig waren er zekeringen om gesprongen. Ene hield het andere niet.

He Laat god er buiten

Edit: Oeps , dat was niet bedoeling (ver -> er)

Oorspronkelijk geplaatst door Paulewk

Ehm, jij hebt liever dat ze dit om 2 uur s'nachts doen, als ze met 2 engineers lopen, met alle gevolgen van dien als het mis gaat?

Ik zou dit het liefst om 11 uur sóchtends zien gebeuren, heb je de hele dag om eventuele problemen / nasleep op te lossen.

75% van onze klanten is Nederlands/Belgisch bedrijfsleven. Als er om 2 uur 's nachts geen verbinding meer is, dan heeft dat voor ons minder gevolgen dan wanneer het om 2 uur 's middags gebeurt.

TransIP stuurde een mailing rond, waar ik het helemaal mee eens ben

Beste klant,

zoals beloofd sturen wij u de uitgebreide informatie over de stroomstoring in TelecityRedbus d.d. 27 september 2006.

Zoals u wellicht al hebt vernomen, zijn rond de 15 serverracks geheel of gedeeltelijk uitgevallen vanwege de tijdelijke uitval van een UPS bij Redbus. De stroomstoring begon om 16:00 en werd verholpen rond 17:00.
Vanwege de redundante opstelling van ons netwerk is er geen verstoring van het netwerkverkeer geweest voor de overige servers.

Nadat de stroomtoevoer rond 17:00 werd hersteld, is ons gehele team nog tot 22:00 bezig geweest aan het behandelen van storingsmeldingen aan individuele servers. Aan de hand van uw ervaringen stellen wij vast dat u tevreden was over de reactiesnelheid, maar vaker en uitgebreidere status-updates wenste. Wij zullen de gemaakte suggesties in de toekomst meenemen.

De oorzaak van de stroomstoring lag in de UPS-voorziening die door Redbus wordt geleverd. Redbus geeft de volgende verklaring:

| BEGIN VERKLARING REDBUS
| Om 15.55 uur heeft zich een communicatie fout voorgedaan in het UPS
| systeem. Als gevolg hiervan is er gedurende een tiende van een seconde
| een verlaging van het voltage zichtbaar geweest. Hierbij zijn minimale
| waarden gemeten van 80 Volt. Het is afhankelijk van de voeding hoe uw
| apparatuur hierop reageert. Direct na de verstoring is de gebruikelijk
| stroomvoorziening hersteld.
|
| Sinds woensdagavond is een team van TelecityRedbus specialisten, in
| samenwerking met de leveranciers van de systemen, bezig met een
| grondige analyse van de communicatie fout in het UPS systeem. Uit deze
| analyse zal blijken welke acties genomen moeten worden om de
| stabiliteit van het systeem te waarborgen.
| EIND VERKLARING REDBUS

Naar onze mening is deze verklaring onvolledig en feitelijk onjuist.
Naast het tijdelijke falen van de Redbus UPS, zijn er ook problemen geweest met de rack-zekeringen. Onze engineers on site hebben de Redbus-engineers zekeringen zien omschakelen. In een enkel geval hebben wij hierbij zelfs hulp geboden. Redbus heeft geen verklaring voor dit fenomeen.

Diverse onofficiele bronnen hebben ons daarnaast bevestigd dat er wel degelijk onderhoud werd gepleegd aan de UPS op het moment van de storing.

Ook zonder deze extra feiten echter, is een stroomstoring van 1/10e van een seconde net zo onacceptabel als een storing van een minuut of een dag.
Wij beraden ons na deze teleurstellingen dan ook ten zeerste over onze relatie met Redbus.

Tot slot willen wij van deze mogelijkheid gebruik maken om nogmaals excuses aan te bieden aan degenen die getroffen werden door deze storing. Ondanks dat wij geen enkele invloed op het optreden van deze gebeurtenis hebben, hopen wij dat de snelheid en kwaliteit waarmee wij het probleem in de hand hebben weten te houden en vervolgens op te lossen u toch blijvend vertrouwen geeft.

Met vriendelijke groet,
Daryl Mackinnen
Transip BV