Bekijk Volledige Versie : Leaseweb via Versatel
Ik krijg momenteel van diverse klanten met een verbinding via Versatel te horen dat zowel onze servers (bijv. www.nextit.nl) als ook www.leaseweb.com niet meer te bereiken zijn.
Zijn er mensen die dit kunnen bevestigen? Ik heb Leaseweb inmiddels per e-mail ingelicht.
Stroomstoring in Amsterdam (geweest). AMS-IX Problemen
Stroomstoring in Amsterdam (geweest). AMS-IX Problemen
Krijg net een reactie van Leaseweb:
"Door een grote stroomstoring bij SARA lagen waarschijnlijk de routers
van Versatel eruit. Zo te zien lijkt alles nu weer ok."
Alles lijkt inderdaad weer te functioneren. Had niks met Leaseweb te maken dus.
Ja, wij hadden net ook al problemen met een router in Telecity 1...
Klopt het trouwens dat daar slechts 1 van de 2 stroom feeds is uitgevallen? Wij hoorden dat er problemen waren met de generatoren in TC1, maar onze router zelf was gewoon up (het vlan van een derde partij echter niet, maar dat staat los van ons probleem...)
CharlieRoot
29/05/06, 16:14
Wij hadden enkel vertraging (Redbus Interhouse) maar ook goed merkbaar dus.
Merkte het inderdaad vanaf Tele2/Versatel :)
Opgelost.
rensariens
29/05/06, 16:33
surfnet ligt er ook constant een minuut uit
edit: ook een ping verhoging naar amsterdam, 6ms ipv 3ms
Hier ivm de stroomstoring ook problemen gehad met een aantal KPN-ADSL klanten.
XS4ALL meldt ook een storing:
http://www.xs4all.nl/nieuws/bericht.php?id=2010&taal=nl&msect=Storingen
Omdat de AMSIX ook in SARA hadden alle klanten die daar geconnecteerd waren last van de stroomstoring. De 10GE klanten (o.a. LeaseWeb dus) hadden daarboven nog wat langer last omdat het volgens de AMSIX langer duurde voordat de 10GE klanten terug online waren.
TeleCity1 had geen last van de storing, daar werkte de UPS wel. SARA zou een werkende UPS hebben, maar tot nu tot nog nooit wat van gemerkt (in de negatieve zin).
MediaServe
29/05/06, 17:12
Het gaat weer lekker bij SARA datacenter, niet de eerste keer.
http://www.ams-ix.net/technical/stats/
Volgens info vanuit de AMS-IX mailinglist is dit de laatste info:
The last official update I received from Sara was that when the power in
Amsterdam failed, everything switched to UPS. The generators were started,
but it seems that there were problems with one generator. When after ± 20
minutes the UPS batteries were empty, a part of the Sara facility was left
without power.
Hoe kan dit? Het belangrijkste internetknooppunt van Nederland en het grootste van europa gezien het aantal members. Tot zover n+1. :(
Volgens info vanuit de AMS-IX mailinglist is dit de laatste info:
The last official update I received from Sara was that when the power in
Amsterdam failed, everything switched to UPS. The generators were started,
but it seems that there were problems with one generator. When after ± 20
minutes the UPS batteries were empty, a part of the Sara facility was left
without power.
Das vrij lullig dat die aggregaat het niet doet. Toch maar voortaan N+N²? ;)
Was het niet reducdant uitgevoert:
http://www.ams-ix.net/technical/
Lijkt me sterk dat hele ams-ix plat lag. Alleen de traffic meet server en vele peerings in SARA hebben denk plat gelegen.
Niet de gehele AMSIX (die gaat over meerdere locaties) maar de SARA locatie wel geheel. Ook kon de AMSIX organisatie niet bij de infrastructuur omdat ook hun kantoor in Amsterdam zelf last had van de stroomstoring.
Het gaat weer lekker bij SARA datacenter, niet de eerste keer.
http://www.ams-ix.net/technical/stats/
Vreemd dat hij compleet down aangeeft, enkel de SARA locatie was plat. Waarschijnlijk staat het systeem wat dit monitort in SARA.
jep, de monitoring draait vanaf hun kantoor... en dat lag er ook uit....
De officiele lezing vanuit de AMS-IX mailing is als volgt:
Below is the series of events that occurred today in Amsterdam.
- Around 13:30 a major power failure occurs in Amsterdam, this
included both the AMS-IX offices (NOC) and the AMS-IX SARA lo-
cation.
- At 13:39 AMS-IX edge switches at SARA went down due to lack of
power
- At 13:47 the edge switches carrying traffic for connections
up to 1GE were back online.
- Around 14:30 the 10GE connections at SARA were back online.
Due to the power outage the AMS-IX management infrastructure had major
problems. Because of this we were unable to get proper access to the
photonic cross connect at SARA and re-establish the 10GE connections
there. As a result, the 10GE connections at SARA were offline much
longer than necessary.
Word from SARA is that the outage there occurred because one of their
diesel generators failed to kick in before the UPS ran out.
(ff voor degene die geen ams-ix mailings hebben...)
Stroomstoring treft groot deel van Amsterdam
Op 29 mei heeft een groot gedeelte van Amsterdam tussen 13.31 en 14.18 uur te maken gehad met een ernstige stroomonderbreking. Ook op Science Park Amsterdam, het terrein waar SARA gevestigd is, viel de stroom uit.
Om stroomstoringen op te vangen, beschikt SARA over een UPS-systeem (Uninterruptable Power Supply) en een noodstroomvoorziening met meerdere generatoren. De noodstroomvoorziening heeft de taak stroom te leveren totdat het elektriciteitsnet weer operationeel is.
De UPS heeft de stroomuitval direct goed opgevangen. Echter een van de generatoren van de noodstroomvoorziening heeft niet goed gefunctioneerd. Hierdoor had een deel van de apparatuur bij SARA enkele minuten geen stroomvoorziening. Dit heeft onder andere gevolgen gehad voor het internetverkeer en de SARA-dienstverlening.
De situatie is op dit moment stabiel. SARA onderzoekt de oorzaak van de startproblemen van de betreffende generator. In afwachting van de uitkomsten van het onderzoek, zal de generator operationeel zijn en blijven draaien.
BRON: http://www.sara.nl/news/recent/power_20060529/power_outage_ned.html
Keenondots
29/05/06, 19:13
Lijkt niet eens op N+1, want dan had één gefailde generator geen problemen opgeleverd. Het lijkt erop dat ze alle generatoren nodig hebben om voldoende stroom te kunnen leveren.
MediaServe
29/05/06, 19:35
Vreemd dat hij compleet down aangeeft, enkel de SARA locatie was plat. Waarschijnlijk staat het systeem wat dit monitort in SARA.Let even op de vertical as, hij was dus niet compleet down :)
Lijkt niet eens op N+1, want dan had één gefailde generator geen problemen opgeleverd. Het lijkt erop dat ze alle generatoren nodig hebben om voldoende stroom te kunnen leveren.Inderdaad.
Ik moet zeggen dat ik dit echt belachelijk vind. Zulke belangrijke knooppunten mag zoiets gewoon niet gebeuren.
Melding kwam bij ons binnen dat router offline ging wegens onbekende oorzaak, hij zou een "Cold Start" hebben gehad, wat betekent dat het stroom eraf is geweest.
Vrijwel gelijktijdig gingen onze AMS-IX connecties plat en waren wij 1.5 Gbit armer. Veel verkeer kwam ook niet terug, omdat aantal ISP's gevestigd in SARA redelijk groot is.
Hier ook mailing gehad dat UPS wel zijn werk heeft gedaan, maar dat een generator gewoonweg niet wou werken. Ik denk dat de komende schadeclaims van diverse firma's SARA een motivatie geeft om het toch maar beter uit te voeren.
Mja eigenlijk wel hè :(...
Wat nou als het een keer niet zo makkelijk op te lossen is...
Hier ook mailing gehad dat UPS wel zijn werk heeft gedaan, maar dat een generator gewoonweg niet wou werken. Ik denk dat de komende schadeclaims van diverse firma's SARA een motivatie geeft om het toch maar beter uit te voeren.
Dat een generator zijn werk gewoon niet doet hoeft niet meteen fout te zijn van SARA. Als zij niet voldoende getest hebben of de generator zijn werk wel goed deed dan zou het nalatigheid zien.
Eens zien hoe ze erop reageren naar klanten toe.
je mag toch verwachten dat er bepaalde generatoren uit mogen vallen of niet opkomen zonder dat gelijk het hele zooitje plat gaat?
Dat een generator zijn werk gewoon niet doet hoeft niet meteen fout te zijn van SARA. Als zij niet voldoende getest hebben of de generator zijn werk wel goed deed dan zou het nalatigheid zien.
Eens zien hoe ze erop reageren naar klanten toe.
Fout van SARA of niet, feit blijft dat zij wel verantwoordelijk zijn voor een ononderbroken dienstverlening naar hun klanten.
Als -insert_datacenter- bijvoorbeeld vergeet jouw suite te koelen doordat een engineer niet goed oplette, accepteer jij het dan ook als ze zeggen: "ja Japie sliep tijdens zijn dienst, tis niet onze fout" ;)
Als -insert_datacenter- bijvoorbeeld vergeet jouw suite te koelen doordat een engineer niet goed oplette, accepteer jij het dan ook als ze zeggen: "ja Japie sliep tijdens zijn dienst, tis niet onze fout" ;)
Je vergelijkt iets wat standaard dienst is met een dienst die incidenteel wordt gebruikt met elkaar, niet echt lekkere vergelijking.
Die koeling moet het ALTIJD doen, die generatoren kunnen "weleens" kapot gaan. Ze kunnen zich lijkt me wel beroepen op overmacht, mits er geen fouten zijn gemaakt bij SARA.
Helemaal mee eens. Ook nog eens aangezien je bij SARA geen low budget prijzen betaald. Als het ergens goed is uitgevoerd moet het hier wel zijn. Hopelijk hebben ze hier wat van geleerd in de toekomst.
Tevens laat dit weer zien hoe kwetsbaar het internet is.
Je vergelijkt iets wat standaard dienst is met een dienst die incidenteel wordt gebruikt met elkaar, niet echt lekkere vergelijking.
Die koeling moet het ALTIJD doen, die generatoren kunnen "weleens" kapot gaan. Ze kunnen zich lijkt me wel beroepen op overmacht, mits er geen fouten zijn gemaakt bij SARA.
Daar heb jij weer gelijk in, ben niet zo goed in vergelijkingen, maar ik vind het zwak als SARA zich gaat beroepen op overmacht. Redbus bijv. levert mij 100% SLA op stroom, dan ga ik er even vanuit dat SARA dit zéker ook doet. Er van uitgaande dat ze geen N+1 hadden maar gewoon N is het m.i. al helemaal geen overmacht :)
MediaServe
29/05/06, 23:39
N+1 betekent dat er altijd van alle componenten een overbodige (redundante) aanwezig is. Daar mag er altijd één van uitvallen, zonder dat "het geheel" daardoor plat komt te liggen. Als er één generator heeft gefaald vandaag, dan mocht de stroom daardoor dus niet plat komen te liggen. SARA heeft dus gewoon geen N+1 architectuur blijkt nu.
Overmacht is als er een vliegtuig op zou vallen, of de ringdijk doorbreekt, dat de stroom uitvalt is juist waar die dingen voor zijn. ;)
N+1 betekent dat er altijd van alle componenten een overbodige (redundante) aanwezig is. Daar mag er altijd één van uitvallen, zonder dat "het geheel" daardoor plat komt te liggen. Als er één generator heeft gefaald vandaag, dan mocht de stroom daardoor dus niet plat komen te liggen. SARA heeft dus gewoon geen N+1 architectuur blijkt nu.Daarom..
Ik vraag me ook af met wat voor een verklaring SARA komt.
We zitten hier nu wel allemaal te roepen "SARA hier SARA daar" maar het probleem is toch niet ontstaan bij SARA maar bij NUON ofzo, deze zouden ook redurant-stoormnetwerk moeten hebben dus verschillende fallback centrales. Ik weet ook dat SARA deze klap had moeten opvangen maarja.
We zitten hier nu wel allemaal te roepen "SARA hier SARA daar" maar het probleem is toch niet ontstaan bij SARA maar bij NUON ofzo, deze zouden ook redurant-stoormnetwerk moeten hebben dus verschillende fallback centrales. Ik weet ook dat SARA deze klap had moeten opvangen maarja.
Waarom niet over NUON zeuren > gebeurd toch aantal x per jaar, daarom huur je redundante stroomtoevoer
Waarom wel over SARA zeuren > opvangen deugde niet
Dat ben ik ook wel met je eens, maar why zou nuon er een paar keer per jaar uitvallen? Dit zou ook niet mogen gebeuren.
Dat ben ik ook wel met je eens, maar why zou nuon er een paar keer per jaar uitvallen? Dit zou ook niet mogen gebeuren.
Heb je SLA van 100% bij NUON? Waarom zou het dan niet mogen gebeuren :p.
Dat NUON zelf niet wilt dat jij geen stroom krijgt is alleen omdat ze het dan niet kunnen rekenen.
Heb je SLA van 100% bij NUON? Waarom zou het dan niet mogen gebeuren :p.
hehe :) omdat wij geen SLA hebben leggen ze ons niet een paar keer per jaar plat hoor :P
hehe :) omdat wij geen SLA hebben leggen ze ons niet een paar keer per jaar plat hoor :P
Zie mijn tussentijdse wijziging ;)
het merendeel van de stroomstoringen wordt veroorzaakt door graafwerkzaamheden van derden. dan kan je hard naar de NUON rennen, maar als iemand besluit om z'n shovel ergens de grond in te steken, dan kan NUON daar weinig aan doen.
We zitten hier nu wel allemaal te roepen "SARA hier SARA daar" maar het probleem is toch niet ontstaan bij SARA maar bij NUON ofzo, deze zouden ook redurant-stoormnetwerk moeten hebben dus verschillende fallback centrales. Ik weet ook dat SARA deze klap had moeten opvangen maarja.
Fallback centrales, denk dat je je hierin goed vergist. Het is hoogstwaarschijnlijk dat wij vanuit de grens een uitval mee kunnen opvangen maar een lege centrale klaar hebben staan hebben we niet. Een mooi voorbeeld is US & Canada. Daar draait alles op dusdanig hoog vermogen dat als er verkeerd geschakeld word je een hele ketting aan uitval hebt wat door het hele land kan rennen. Dat is afgelopen zomer klein stukje gebeurd maar op tijd geschakeld zonder dat er verdere uitval ontstond. En in het verleden zijn er ook wat gevallen bekend....
Die situatie heb je in NL ook. Enkele jaren geleden hebben we in de provincie Utrecht een dergelijke blackout gehad.
Het energienet wordt door Tennet op het juiste niveau gehouden (energiebalans, afstemming tussen vraag en aanbod). Grote schommelingen in vraag of aanbod zijn ook door hun niet op te vangen. Om black-outs te voorkomen zijn volgens mij juist die zekeringen ingebouwd, waardoor 'slechts' een deel zonder stroom komt te zitten en niet een hele provincie.
FallingSky
30/05/06, 13:32
het merendeel van de stroomstoringen wordt veroorzaakt door graafwerkzaamheden van derden. dan kan je hard naar de NUON rennen, maar als iemand besluit om z'n shovel ergens de grond in te steken, dan kan NUON daar weinig aan doen.
denk je niet dat je het niet zal merken als je een shovel in een kabel steekt waar 400 V a 16*3 A op staat ?
it is just a tingeling sensation
toen men enige tijd geleden besloot om een WTC naast mijn toenmalige studentenflat te gaan bouwen zijn ze als ik me niet vergis een stuk of drie keer door de elektra heen gegaan. (water en telefoon laten we even buiten beschouwing)
het enige dat ik weet is dat je dan zonder stroom zit, en een mooie steekvlam hebt gezien. ik denk niet dat ik het wil voelen..:D