Bekijk Volledige Versie : Stroomstoring Easynet
Door een stroomstoring zijn een aantal racks offline, ook een van onze racks die een aantal core switches bevat is down. Naar schatting gaat het hier om 20 racks.
EuroAccess en Easynet zijn er mee bezig.
http://noc.technotop.nl/cgi-bin/smokeping.cgi?target=Technotop.Amsterdam.Switch02
Ik heb er ook last van (duh, ik zit boven jou), keep us posted
Volgens mij zit ik in het rack of een 2/3 racken naast jou Robbert, en hier nergens last van.
Hopelijk is het snel opgelost!
Dacht al, alles weg! 2 a 3 gigabyte/sec qua trafic in een keer weg. Maargoed, hopelijk is het snel opgelost!
Inderdaad, hopelijk wordt dit snel opgelost al stel ik me wel vragen bij zulke powerproblemen (toch wel het laatste dat zou mogen voorvallen), but maybe that's just me ;)
Volgens mij zit ik in het rack of een 2/3 racken naast jou Robbert, en hier nergens last van.
Hopelijk is het snel opgelost!
Daarom, het gaat om tal van racks en niet per straatje. Zowel de racks van colocation als ons rack voor switching en patching is down. Bij ons zijn nu twee racks uitgevallen.
Er zullen aardig wat harddisken currupt raken en zelfs hele servers niet meer up komen. Kan nog druk worden vanavond.
Hebben ze geen noodvoorzieningen qua stroom? Dit moet toch gewoon aanspringen.. of?
Hebben ze geen noodvoorzieningen qua stroom? Dit moet toch gewoon aanspringen.. of?
Het is letterlijk:
Rack rij:
[up] [up] [down ] [up]
Rack rij:
[down] [down] [up] [up]
Iets in die richting, vreemd dat het dus zo uitvalt en niet per straatje.
Hebben ze geen noodvoorzieningen qua stroom? Dit moet toch gewoon aanspringen.. of?
er zijn groepen uitgeknald, dat is veiligheid, die de generator niet op gaat vangen
Wat is er eigenlijk precies gebeurd dat het stroom is uitgevallen?
De racks waren toch rendunant uitgevoerd?
er zijn groepen uitgeknald, dat is veiligheid, die de generator niet op gaat vangen
De groepen zijn toch ook rendundant verbonden met racks?
Vaag allemaal hoor! En zeker als het zo uitvalt en niet per straatje..
Misschien een leuke kortsluiting veroorzaakt? Follow the smoking engineer :D
Wat is er eigenlijk precies gebeurd dat het stroom is uitgevallen?
De racks waren toch rendunant uitgevoerd?
De groepen zijn toch ook rendundant verbonden met racks?Nee, je kan twee feeds krijgen, maar dan moeten al je servers, switches e.d. ook redundante voedingen hebben.
Hopen dat er weinig verders uitvalt en dat het snel weer allemaal up is, wij zelf geen problemen met de apparatuur die daar hangt.
Hopelijk voor niemand kapotte hardeschijven!
MediaServe
24/09/06, 19:29
Er is een grote stroomstoring bij Easynet, niet alleen bij Euroaccess (MODje graag even titel wijzigen), maar in een groot deel van Easynet. De technische dienst is onderweg. Een complete feed is uitgevallen voor zover is het heb begrepen, dus tussen de UPS en de gebruikers in. Onze internetverbinding is nog 100% up gelukkig.
ErikKosters
24/09/06, 19:29
Gooi er hogere zekering in jongens :p Hier ook geen stroomstoring?
Nee, je kan twee feeds krijgen, maar dan moeten al je servers, switches e.d. ook redundante voedingen hebben.
Hoeft niet per séé, je kan ook een STS verdeler onder in je rack hebben liggen, die 'kiest' tussen de twee groepen.
Wij hebben er ook geen last van, wel succes voor iedereen met problemen!
zal ik de bestelling maar vast opnemen, ik meen dat ik vorige keer bij flesje draaien verloren had.
Ik rijd langs
-burgerking
-mcdonals
-ah (station)
-pizza
-frietboer :)
nu we er toch allemaal zullen zijn, iemand die zich geroepen voelt om te notuleren :)
Swiftway-UK
24/09/06, 19:34
Misschien is de mainfeed van de cage overbelast? meeste DCs leveren een cage een maximum van X ampere per footprint, vaak in twee powerfeeds (om zelf A+B feeds te kunnen maken).
Overigens hebben we geen problemen binnen ons netwerk, wij staan in drie suites inmiddels, alles is hier online in ieder geval.
wat kost zoiets?, zo'n sts?
wat kost zoiets?, zo'n sts?
Feed A en B zijn down, anders had jij er geen last van omdat ik feed B gebruik in dat rack waar jij ook staat =). Verder zijn de racks die down zijn, ook echt down.. dus zowel feed a als b.
Feed A en B zijn down, anders had jij er geen last van omdat ik feed B gebruik in dat rack waar jij ook staat =). Verder zijn de racks die down zijn, ook echt down.. dus zowel feed a als b.
oftewel: dubbel genaaid
wat kost zoiets?, zo'n sts?
Een STS switch kost rond de 530 euro excl. btw bij Ahead-IT
Link...
(http://www.ahead-it.be/shop.asp?cat=rack%20equipment&NR=104)
MediaServe
24/09/06, 19:46
Wij gaan nu die kant op, als ik voor iemand iets kan betekenen qua servers aanzetten, testen e.d. dan hoor ik dat graag per email.
Indien het echt zo is dat A en B feed er beiden uitliggen dan vind ik dit ronduit ongepast.
Gelukkig hebben wij er geen last van.
Indien het echt zo is dat A en B feed er beiden uitliggen dan vind ik dit ronduit ongepast.
Gelukkig hebben wij er geen last van.
het is echt zo
Vallen nog meer racks uit... nu ook mediaserve down.. who's next?
Ik hoop niet wij, dan kan ik nu de auto instappen en een uur rijden..
Nogmaals erg veel succes, als ik ergens vanuit hier mee kan helpen mail maar!
net gehoord dat entrance in Easynet nu onmogelijk is, bijna niemandmag meer naar binnen
Leuk.. nu maar hopen dat onze main racks niet uitvallen.. net gisteren de gehele nacht onderhoud zitten uitvoeren, valt het straks weer uit..
Leuk.. nu maar hopen dat onze main racks niet uitvallen.. net gisteren de gehele nacht onderhoud zitten uitvoeren, valt het straks weer uit..
nee, ik hoop dat ze nu juist dingen gaan aanzetten
Vallen nog meer racks uit... nu ook mediaserve down.. who's next?
hier is ook alles uit en aan geweest.
Keenondots
24/09/06, 20:07
Collega's: vervelende zaak, hopelijk valt e.e.a. mee.
Misschien heeft het hier mee te maken?
http://www.nu.nl/news/832798/24/Landelijke_stroomstoring_in_Pakistan.html
Leuk.. nu maar hopen dat onze main racks niet uitvallen.. net gisteren de gehele nacht onderhoud zitten uitvoeren, valt het straks weer uit..
Dat is dus hetzelfde bij ons, eergisteren groot onderhoud gehouden en nu nogmaals down!
ik bedacht mij net *goh, toch al een lange uptime*
...
ik moet mn mond houden
Hopelijk is het snel weer online...
Was net van plan om naar een feest te gaan met 30 liter bier!!
Hopelijk is het snel weer online...
Was net van plan om naar een feest te gaan met 30 liter bier!!
Netfeed, jij zit toch boven mij, @ G3?
Netfeed, jij zit toch boven mij, @ G3?
Ik denk het wel ja, heb geen idee wie jij bent ;)
Iemand een status of je Easynet in mag? Bij ons werkt alles nog btw.
Iemand die EasyNET nog in gaat? Of binnen is? We kunnen nog wel 2 power-on's gebruiken :).
Ik denk het wel ja, heb geen idee wie jij bent ;)
Diegene onder jou :P
Diegene onder jou :P
Haha logisch, leuk kennis te maken onder deze omstandigheden zeg onderbuurman ;)
Iemand die EasyNET nog in gaat? Of binnen is? We kunnen nog wel 2 power-on's gebruiken :).
Er is nog geen power, dus ook geen power-on nodig :P
Haha logisch, leuk kennis te maken onder deze omstandigheden zeg onderbuurman ;)
Haha, lijkt wel een holbewoner "onderbuurman" :D
Haha logisch, leuk kennis te maken onder deze omstandigheden zeg onderbuurman ;)
Wanneer komt de Easynet-Euroaccess meet? :P
Dan ben ik ook van de partij! Reis ik met Netfeed mee!
Nog even en dan valt de UPS waaraan de switches hangen uit... dus ook wij gaan straks geheel offline.. als het nog zo door gaat....
Wanneer komt de Easynet-Euroaccess meet? :P
Zorg jij dan voor frikandellen, dan zorg ik wel voor het bier ;)
Zorg jij dan voor frikandellen, dan zorg ik wel voor het bier ;)
en de bitterballen dan? :P
en de bitterballen dan? :P
Offtopic blijven heren! Dit gaat straks opslot door deze nutteloze reacties!
en de bitterballen dan? :P
Die neem ik natuurlijk mee! Met wat extra mayo ;)
@Technotop: We moeten toch iets :) het is nu eenmaal zo dus wat gijn kan best even.
lol, waar zo'n stroomstoring al niet goed voor is :)
Iedereen blijft verdomt rustig, Technotop, zit je vlakbij DC?
Offtopic blijven heren! Dit gaat straks opslot door deze nutteloze reacties!
Sorry :)
Bart en Thomas zijn onderweg, ik hoop dat die tijdig de UPS over kunnen prikken naar een werkende powerbar
Iemand een status of je Easynet in mag? Bij ons werkt alles nog btw.
Jullie zitten volgens mij naast een van onze colo racks
Bij ons zijn onze colo racks ook nog up gelukkig
Iedereen blijft verdomt rustig, Technotop, zit je vlakbij DC?
35 minuten, maar kom niet binnen volgens bronnen. Kan vrij weinig doen, anders had ik de switches ook wel overgezet naar een ander rack..
Het is nu dus aftellen totdat ook ons andere deel offline gaat. Mails zijn reeks verzonden dus hopelijk is iedereen nu op de hoogte.
Balen, maar kunnen vrij weinig doen..
@WebXtra
Nee jij staat als het goed is niet in dat straatje :)
swedendedicated
24/09/06, 20:49
K*t zooi dit, welk oud brak heeft nou weer kortsluiting veroorzaakt?
K*t zooi dit, welk oud brak heeft nou weer kortsluiting veroorzaakt?
Ik denk dat als 1 apparaat sluiting maakt, dat er dan niet een hele of meerdere fases uitknallen... dit zal met iets anders te maken hebben.
Jullie zitten volgens mij naast een van onze colo racks
Bij ons zijn onze colo racks ook nog up gelukkig
Weet niet waar je staat?
Suite 2a staan wij uit mijn hoofd..
swedendedicated
24/09/06, 20:52
Weet iemand al een oorzaak? Speculaties zijn ook welkom :D
Swiftway-UK
24/09/06, 20:54
Komto: ja, jullie staan in 2A :)
Wel vreemd dat niemand binnen mag, bij stroomstoring is er lijkt me geen reden om mensen buiten te houden. Zijn er andere providers dan EA down? tot nu toe niks over vernomen.
Weet iemand al een oorzaak? Speculaties zijn ook welkom :D
Kortsluiting betekend 1 rack offline, dit lijkt een defect in een van de stroomkasten..
WebXtra heb jij enig idee of wij er ook zo aan gaan?
Dan ga ik zo een mail versturen en autosleutels e.d. pakken..
Als er dan iemand eerder is, helpen we elkaar even?
Blij dat ik in ieder rack een UPS heb hangen. Maar ook dat had niet geholpen omdat de boel nu al meer dan een uur down is. Dan zegt die beste UPS ook van bekijk het maar...
Mensen, hoop voor iedereen die daar staat dat de boel weer netjes up komt en dat als het niet zo is de engineers goed behulpzaam zijn om de boel weer goed up te laten komen.
Nee geen idee, ik houd een switch en apc in de gaten.
Zelf hoef ik er niet heen, omdat wij er geen servers hebben staan, alleen onze colo klanten.
Maar goed dat wij ons dedicated rack nog niet in gebruik hebben genomen aldaar.
Sterkte voor degene die wel met dit probleem kampen.
WebXtra heb jij enig idee of wij er ook zo aan gaan?
Dan ga ik zo een mail versturen en autosleutels e.d. pakken..
Als er dan iemand eerder is, helpen we elkaar even?
Je komt niet naar binnen, volgens bronnen. Dus je aanmelding zal ook niet approved worden. WIj hebben wel al reeks een mailing verzonden waarbij wij vermelden dat het waarschijnlijk is dat alle racks offline gaan.
Dus je kunt het beste zowieso een waarschuwing mailen/bellen dat het offline KAN gaan.
Er zijn al mensen aanwezig, Mediaserve en Euroaccess gaan servers nalopen, dus zodra wij wat meer weten kunnen we de lijstjes door geven en kijken wanneer mensen naar binnen kunnen.
Verder weet ik niet of het echt DICHT zit, dit is wat wij weer hebben vernomen omdat ook wij in de auto wilden stappen omdat we dachten dat een van onze switches down was.
Je kunt nu niet veel meer doen dan afwachten, wij weten dat we totaal offline gaan.. nu de vraag hoelang zal die UPS online blijven..
Komto: ja, jullie staan in 2A :)
Wel vreemd dat niemand binnen mag, bij stroomstoring is er lijkt me geen reden om mensen buiten te houden. Zijn er andere providers dan EA down? tot nu toe niks over vernomen.
Alle partijen die ik ken welke in Easynet zitten zijn gewoon up :). Zou ook niet weten waarom je er niet in mag?
Ik heb ook maar een mail verstuurd uit voorzorg. Ga er hoe dan ook heen als het toch down gaat. Ben benieuwd wat er precies aan de hand is!
Alle partijen die ik ken welke in Easynet zitten zijn gewoon up :). Zou ook niet weten waarom je er niet in mag?
Misschien dat ze geen zin hebben in zenuwachtige mensen die in het DC voor de voeten lopen omdat ze niets kunnen doen totdat er weer stroom is? Ik kan me voorstellen dat de technici liever rustig werken (voor zover dat kan in een DC) dan tussen stressende mensen.
Misschien dat ze geen zin hebben in zenuwachtige mensen die in het DC voor de voeten lopen omdat ze niets kunnen doen totdat er weer stroom is? Ik kan me voorstellen dat de technici liever rustig werken (voor zover dat kan in een DC) dan tussen stressende mensen.
Precies, volgens mij worden aanmeldingen ook niet doorgevoerd tot dat het probleem is verholpen.
Alle partijen die ik ken welke in Easynet zitten zijn gewoon up :). Zou ook niet weten waarom je er niet in mag?
Dus enkel Euroaccess-klanten zouden met deze powerproblemen te kampen hebben??
...en ondertussen is er hier eentje terug up and running blijkbaar...
Mededeling EA:
Op dit moment zijn wij met 3-man aanwezig in Easynet om de kasten zo snel mogelijk weer online te krijgen.
Reden voor downtime is een verdeelkast die plots buiten werking trad met als gevolg een 20-tal kasten zonder stroom (B-groep).
Meer nieuws volgt zodra dit beschikbaar is.
Als het goed is zit ik ingeplugd in de A-groep, rick. Hoe kan dat dan?
Als het goed is zit ik ingeplugd in de A-groep, rick. Hoe kan dat dan?
Je haalt een aantal dingen door de war, de racks zijn geheel offline.. of het nu groep A of B is. Wel hebben een aantal racks een korte downtime gehad waarvan wel maar 1 feed!
Maar het is afwachten...
Jij bent nog UP, Robbert. Blijkbaar heeft Mediaserve een goede UPS :)
Jij bent nog UP, Robbert. Blijkbaar heeft Mediaserve een goede UPS :)
UPS doet zijn erg goed, maar als het niet snel goed komt, zal de UPS nog offline gaan :) Ben blij dat Bart hem heeft gekocht :)
Bart en Thomas zijn op 30 minuten afstand.
Bart en Thomas zijn op 30 minuten afstand.
Ze zijn onderweg inderdaad, ze nemen zowieso nog even contact met op zodat ze wat servers kunnen boten voor een aantal cliënten, samen met Euroaccess zullen ze servers nachecken en nalopen.
same here ;)
Jammer dat we zelf niet naar binnen mogen, zit er echt een half uurtje vanaf (kwartiertje als het moet :P)
dreamhost_nl
24/09/06, 21:52
Probleem inmiddels hier al v.a. 20:07 opgelost... :W:
Toch nog kleine drie uur geduurd...
Probleem inmiddels hier al v.a. 20:07 opgelost... :W:
Toch nog kleine drie uur geduurd...
Hier nog zo down als maar kan :)
Hier nog zo down als maar kan :)
En hier ook :)
Hier nog zo down als maar kan :)
En hier ook!
een van de racks nu online, één server met redundante uplink is nu ook online. Nu nog de andere racks zodat mijn internet weer volledig werkt..
Het verbruikt blijft stijgen, een goed teken. Hopelijk staan onze servers dadelijk ook weer online.
Hier ook nog alles naar beneden
Iemand nog nieuws? Al vorderingen van servers die terug komen?
Cages/racks van Leaseweb ook offline?
1d, 2a?
Iemand enig idee.
MediaServe
24/09/06, 23:00
Als het goed is draaien al onze klanten weer, alleen zijn er nog problemen met rack G3. Onze UPS heeft al het netwerkverkeer overgenomen tijdens ongeveer 2 uur downtime op het stroomnetwerk. Als iemand nog remote hands nodig heeft, stuur dan even een PM naar mij.
Met vriendelijke groet,
MediaServe NOC
volgens mij zit het probleem precies in de cage van euroaccess
Wannneer wordt er verwacht dat G3 up is?
Wat zijn de problemen dan precies?
Wij hebben een colo bij Redunix en zijn ook al meer dan 3 uur offline.
Als 1 van de mensen die toch naar ginder rijden eens willen kijken naar ons arme servertje? (85.12.39.134)
Of alles nog wel goed gaat met hem...
Want ik woon in België en het is niet mogelijk voor me om me tot ginder te begeven.
Ik weet absoluut niet waar onze server juist staat,
redunix heeft dit geregeld...
Als ik jullie dan later tegenkom trakteer ik wel op een lekker biertje ;-)
Wannneer wordt er verwacht dat G3 up is?
Wat zijn de problemen dan precies?
Idd, iemand een idee?
Cages/racks van Leaseweb ook offline?
1d, 2a?
Iemand enig idee.
Onze coloracks in 2a hebben niet zonder stroom gezeten.
Iets verder terug in dit topic kunt u lezen waar het probleem lag.
2a heeft er ook hier geen last van.. Alles is goedgegaan, heb de storingsmelding alweer op verholpen gezet..
Wij verwachten nu weer up te zijn binnen enkele minuten, g3 waar wij alleen een van onze core switches hebben hangen om andere racks van internet te voorzien is down. Deze zal nu worden omgeplugt zodat de andere racks van internet worden voorzien.
Als het goed is zal het gehele rack ook zo snel mogelijk weer moeten draaien.
.. en we zijn weer back online... momenteel tijdelijk, vannacht worden we wederom omgeplugt. Alle racks zijn nu weer aangesloten op het internet, nu de taak om alle schade op te nemen.
http://noc.technotop.nl/cgi-bin/smokeping.cgi?target=Technotop.Amsterdam
Update:
Easynet is nu bezig in overleg met stroomleverancier om een "by-pass" te maken, een "fase" van een verdeelkast ligt eruit waardoor enkele B-feeds eruit liggen.
Zoals het er nu naar uitziet zullen wij de komende uren aanwezig zijn op het datacenter om de servers die nog offline liggen weer werkend te krijgen.
Mocht men problemen ondervinden door de stroomstoring, svp contact opnemen met ons via noc@euroaccess.nl of door te mailen naar rick@euroaccess.nl.
Via deze weg, excuses voor het ongemak, hopelijk volgend bericht met beter nieuws.
Met vriendelijke groet,
Rick van Kerkvoorden
NOC Manager
Namens Euroaccess Enterprises
PS. Laten jullie me morgen wel slapen? :)
Your worst nightmare, sterkte jongens met dit probleem!
Stefan Mensink
25/09/06, 00:17
Hmm. Ik heb de hele avond rustig wat PHP-scripts in elkaar zitten knutselen op een van onze servers bij EA. Niets gemerkt van heel deze opschudding :-)
Gelukkig maar, want ik kom al om in het werk ;)
Update:
Easynet is nu bezig in overleg met stroomleverancier om een "by-pass" te maken, een "fase" van een verdeelkast ligt eruit waardoor enkele B-feeds eruit liggen.
Zoals het er nu naar uitziet zullen wij de komende uren aanwezig zijn op het datacenter om de servers die nog offline liggen weer werkend te krijgen.
Mocht men problemen ondervinden door de stroomstoring, svp contact opnemen met ons via noc@euroaccess.nl of door te mailen naar rick@euroaccess.nl.
Via deze weg, excuses voor het ongemak, hopelijk volgend bericht met beter nieuws.
Met vriendelijke groet,
Rick van Kerkvoorden
NOC Manager
Namens Euroaccess Enterprises
PS. Laten jullie me morgen wel slapen? :)
Komt er nog een centrale complete post met wat er nu precies aan de hand was? Vinden de meeste mensen denk ik wel fijn. :)
Wel een teringzooi, was nog bezig aan een server, nu blijkt hij heel wat config troubles te hebben, wordt weer een lange nacht :(
Komt er nog een centrale complete post met wat er nu precies aan de hand was? Vinden de meeste mensen denk ik wel fijn. :)
Ik verwacht op zijn minste een goede toelichting met wat er vandaag allemaal is gebeurt. Een grote ellende dit, 5 uur en 45 minuten down..
Netfeed, jij zit toch boven mij, @ G3?
Dan zit ik onder jou? Ik zit helemaal onderin.
Zorg jij dan voor frikandellen, dan zorg ik wel voor het bier ;)
kom je dan wel met meer dan 30 liter? :P
Dan zit ik onder jou? Ik zit helemaal onderin.
Dus jij zit tussen onze patchpanelen in? Kan me niet bij houden dat er servers onder in het rack zitten, liggen alleen switches en patchpanelen van ons ;)
MediaServe
25/09/06, 00:57
Oke, even een kleine samenvatting :)
Rond 18.00 uur is een fase van de krachtstroom uitgevallen omdat deze overbelast is geraakt. Er zijn afspraken hoeveel stroom de klanten van Easynet mogen verbruiken per rack, maar Easynet had op die feed minder capaciteit dan overeengekomen. Wat we nu hebben gedaan is de feeds die down waren overgezet naar feeds waar nog wel genoeg capaciteit is. Dit kostte helaas veel tijd, aangezien het om honderden servers gaat.
Inmiddels draait alles dus weer stabiel via de twee fases waar nog wel voldoende capacteit op stond. De faseverdeler zal vervangen moeten worden, maar dit kan nog wel een paar weken duren. Tegen die tijd zal, onder onze begeleiding, de stroom dus nogmaals afgesloten moeten worden. Dit gaat enkele weken duren omdat nu voorkomen moet worden dat straks wederom niet voldoende capaciteit beschikbaar is.
Voor vragen kunnen jullie altijd contact opnemen met ons of met Euroaccess.
Nogmaals, als er op dit moment mensen zijn waarvan servers niet meer zijn opgestart, ook als dit geen klanten van ons zijn, neem even contact op per email of PB en dan regelen wij het.
Met vriendelijke groet,
MediaServe NOC
Als ik het zo zie, is alleen mijn switch uitgevallen (zit op een andere groep dan mijn servers). Ik neem aan dat tegen die tijd alleen mijn switch down wordt gegooid, en niet alle andere groepen ook?
Oke, even een kleine samenvatting :)
...
Met vriendelijke groet,
MediaServe NOC
Ben ik blij dat mijn leverancier zo goed met zijn zaak bezig is! :W:
Bij mij draait ook alles weer, er waren een paar .so's van security domein veranderd, maar dat is nu weer netjes opgelost :) Nu gaan we slapen :rolleyes:
Oke, even een kleine samenvatting :)
Rond 18.00 uur is een fase van de krachtstroom uitgevallen omdat deze overbelast is geraakt. Er zijn afspraken hoeveel stroom de klanten van Easynet mogen verbruiken per rack, maar Easynet had op die feed minder capaciteit dan overeengekomen. Wat we nu hebben gedaan is de feeds die down waren overgezet naar feeds waar nog wel genoeg capaciteit is. Dit kostte helaas veel tijd, aangezien het om honderden servers gaat.
Inmiddels draait alles dus weer stabiel via de twee fases waar nog wel voldoende capacteit op stond. De faseverdeler zal vervangen moeten worden, maar dit kan nog wel een paar weken duren. Tegen die tijd zal, onder onze begeleiding, de stroom dus nogmaals afgesloten moeten worden. Dit gaat enkele weken duren omdat nu voorkomen moet worden dat straks wederom niet voldoende capaciteit beschikbaar is.
Voor vragen kunnen jullie altijd contact opnemen met ons of met Euroaccess.
Nogmaals, als er op dit moment mensen zijn waarvan servers niet meer zijn opgestart, ook als dit geen klanten van ons zijn, neem even contact op per email of PB en dan regelen wij het.
Met vriendelijke groet,
MediaServe NOC
Dit had nooit moeten gebeuren, het is wel het minste wat fout zou moeten gaan. Bij wie ligt de schuld nu? Ik hoor nu Easynet vallen, maar hoe komt het dat het alleen bij EuroAccess voorkomt?
Ik vind het zelf onacceptabel dat het zo lang heeft moeten duren, de racks hadden zo kunnen worden aangesloten op een aantal tijdelijke groepen of wat dan ook. Als het na 5/6 uur lukt dan moet het ook binnen 1 uur lukken. Dus hoezo heeft het zo lang moeten duren?
Dit is niet een vraag die ik aan jou stel, maar aan EuroAccess.
Ben ik blij dat mijn leverancier zo goed met zijn zaak bezig is! :W:
Bij mij draait ook alles weer, er waren een paar .so's van security domein veranderd, maar dat is nu weer netjes opgelost :) Nu gaan we slapen :rolleyes:
Mag ook wel na 6 uur downtime? Verder was ik zelf niet echt te spreken over de communiatie, ik werd niet op de hoogte gehouden, moest dus gissen wat er gebeurde. Dit zijn dingen die kunnen worden afgehandeld. Dit zijn allemaal van die dingen, waarvan ik denk dat het beter kon, of slecht ging. Dit had veel eerder kunnen worden opgelost, ik vind het dan ook zeker geen tijd om de leverancier te bedanken, dit zijn dingen die onder overmacht vallen, maar wel sneller konden worden afgehandeld (in mijn ogen).
Ik wou in de autostappen, 10 min na eerste uitval en had ik direct switches kunnen ompluggen zodat alles voor ons online was.. maar ik kon niet naar binnen.
Voor ons is het probleem nu pas echt begonnen, hoe kan het worden voorkomen in de toekomst en waarom kon het zo lang duren? Ik denk ook dat dit intern nog een staartje kan krijgen, wij laten het hier niet bij zitten in iedergeval.
Dus jij zit tussen onze patchpanelen in? Kan me niet bij houden dat er servers onder in het rack zitten, liggen alleen switches en patchpanelen van ons ;)
Boven dat legplankje ;)
Alleen een server? Colocated bij Technotop?
De faseverdeler zal vervangen moeten worden, maar dit kan nog wel een paar weken duren. Tegen die tijd zal, onder onze begeleiding, de stroom dus nogmaals afgesloten moeten worden.
Snel naar DC ff boot-on-power aanzetten :eek:
Daar heb ik zojuist nog problemen mee gehad.
Alleen een server? Colocated bij Technotop?
Kwart rackje..
Alles beneden die 1U Chieftec zonder bovenkap en deze server natuurlijk.
Wat ik wel op het hart wil drukken
Meestal heeft EuroAccess het idee van: er moet iets gedaan worden. Oh, vanmiddag hebben we een plekje: Let's go!
Nee, zo gaat dat dit maal dus niet! Dat kan en mag niet! Een week van te voren aangeven, plannen in de nachtelijke uren (je moet er wat voor over hebben als ISP) en van te voren overleggen met je klanten.
En nog even: True internet without boundries? Zonder stroom kom je blijbaar niet ver :)
*dubbel*
//Edit
@ Technotop : zulke zaken mogen inderdaad niet gebeuren, maar als ze gebeuren is het maar te zien op welke manier je er mee omgaat. Ik heb hier iets minder dan 2 uur plat gelegen al bij al, de rest van de problemen lag bij mijn onafgewerkte scripting waardoor mijn server niet volledig op kwam.
Alleen een server? Colocated bij Technotop?
Zat hier al even door de boeken te bladeren, maar dat is nu ook weer duidelijk.
swedendedicated
25/09/06, 02:22
Inderdaad, weer (bijna) alles plat. Hopelijk zijn ze stroom aan het omzetten..
FransVanNispen
25/09/06, 02:26
Het is nu anders. Tot nu toe hadden wij nog nauwelijks last ondervonden. Een deel van onze 4 racks was blijven draaien, andere deel slechts 1 minuut offline.
Nu valt ook bij ons nagenoeg alles net uit.
ik had inderdaad ook totaal geen last, maar nu lig ik toch echt uit. Ik lag net in me bed toen me mobiel af ging :( Stomme monitor functie ook :p
Nu valt ALLES uit, al onze webservers zijn down en alles op 1 half rack na is online.
http://noc.technotop.nl/cgi-bin/smokeping.cgi?target=Technotop.Amsterdam
swedendedicated
25/09/06, 02:31
Zal een leuke drop geven in je uptime %:D
FransVanNispen
25/09/06, 02:31
Ik lag ook net in bed. Dat zal voorlopig helaas niet doorgaan :(
Maar goed, Paul, Rick, Bart en de rest zouden waarschijnlijk ook graag naar bed gaan. Succes mannen, hopelijk is deze wat sneller opgelost.
Ik vindt dat technotop wel een punt maakt. Buiten dat het oplossen van een probleem met de stroomtoevoer niet zo lang zou moeten duren, zou je zo'n probleem niet direct verwachten. Er wordt altijd erg benadrukt dat EasyNet een flinke noodstroomvoorziening heeft. Maar je ziet dat met een probleem zoals vanavond je toch een behoorlijk probleem hebt.
Er vanuit gaande dat de fout inderdaad bij easynet ligt (ze konden minder stroom leveren als afgesproken op die fase heb ik ergens hierboven kunnen lezen), vraag ik me af wat voor procedures ze hebben om kwaliteit van de stroomtoevoer te waarborgen. Je zou verwachten dat er ergens wel een belletje zou moeten rinkelen als ze meer verkocht hebben als ze kunnen leveren. Dan vraag je je ook af of de noodstroomvoorziening wel afdoende is.
Wat ik me ook afvraag in het geheel; wat doen bedrijven als euroaccess / mediaserve / easynet en de verbindingsleveranciers aan eigen noodstroomvoorzieningen. Ik heb hierboven gelezen dat sommigen een eigen UPS of stroom feed selector hebben. Daar heb je natuurlijk niet zo heel veel aan (nou ja, 't kan hardwareproblemen bespraken natuurlijk) als andere leveranciers in het rijtje daar geen voorzieningen voor hebben. Ook is het interressant te weten hoe lang zo'n UPS het vol zou moeten houden. Klanten zouden daar hun eigen infrastructuur op kunnen aanpassen. De keten is immers zo zwak (...).
Dan als laatste nog een vraag van mijn kant. Hoe zinvol is het om 2 feeds per rack te hebben als ze van dezelfde infrastructuur afhankelijk zijn? In hoeverre zijn die feeds eigenlijk losstaand? Tot de eerste stoppenkast, of ook daarna nog? Maybe dat iemand daar iets meer over weet...
Wat ben ik blij dat onze meeste machines een redundant powersupply hebben en aangesloten zijn op aparte feeds :-)
Technotop maakt inderdaad wel een punt, dit soort dingen mogen niet gebeuren, maar wacht nou maar eerst af totdat Euroaccess met een eindverklaring komt zodra dit gebeuren is afgerond, ze zijn er mee bezig. het is tegenwoording in grote spierballentaal te gebruiken.
@dtsneo: Euroaccess ligt in het budget segment, bedrijven komen daar omdat ze zich op een bepaald doelgroep richten. Als je zelf als hoster ook nog eens extra voorzieneingen moet gaan treffen lopen de kosten zover op dat je het niet meer over budget hebt. Alles heeft zijn prijs.
FransVanNispen
25/09/06, 03:06
Is er misschien nog iemand die in Easynet is, en hier even een update kan posten?
swedendedicated
25/09/06, 03:29
Laatste updsate so far, stroom gaat van alle racks af. Komen nieuwe connecters in of iets dergelijks.
Laatste updsate so far, stroom gaat van alle racks af. Komen nieuwe connecters in of iets dergelijks.
Zekeringen worden vervangen, begin toch sterk mijn twijvels te krijgen hoezo alleen EA down is. Dit soort dingen worden lijkt mij en volgens anderen gedaan per SUITE en niet per cage.
Alle racks worden nu offline gehaald.
Niets is erger dan alle servers te moeten reboten, wel te verstaan een hard reboot. Zal morgen druk worden in EasyNet....
Echter wacht ik nu met smart op uitleg, hoe kan dit in godsnaam gebeuren? De communicatie verloopt niet juist, het blijft via via gissen naar wat er speelt.
Zal een lange nacht worden (is het al), morgenochtend om 06:30 gaat de wekker en ga ik de schade opnemen en met spoed naar het datacentrum. Als ik er nu wel in kom... om servers na te lopen.
http://noc.technotop.nl/cgi-bin/smokeping.cgi?target=Technotop.Amsterdam
Het ergste is nog dat je dit moet kunnen verhalen aan je klanten. Gelukkig dat dit nog 's avonds / 's nachts gebeurt en in het weekend, maar ik mag er niet aan denken dat dit in het midden van de week gebeurt tijdens kantooruren...
Nu maar hopen dat het snel opgelost geraakt en dat er niet teveel schade is aan hd's of weet ik veel wat.
In ieder geval aan de mensen die er zijn veel sterkte en deze stakker hier gaat zoals een boel andere stakkers voorlopig niet slapen..
Meer nieuws volgt, wij zijn op dit moment met ongeveer 10 man van verschilende bedrijven op Easynet aanwezig om de boel online te brengen.
Wij verwachten om 5:00 ~ 6:00 alles weer online te hebben.
Meer nieuws volgt.
Hier aantal racks weer online... meeste servers zijn nog offline en ik vrees voor het ergste..
Voor noodgevallen zijn wij bereikbaar op telefoonnummer: 020-7880308, security van Easynet zal de boodschap aannemen.
Gelieve de volgende informatie door te geven:
- Bedrijfsnaam
- Servers
- Rack (voor zover bekend)
Wij doen alles in onze macht om het gehele serverpark terug online te krijgen.
Voor noodgevallen zijn wij bereikbaar op telefoonnummer: 020-7880308, security van Easynet zal de boodschap aannemen.
Gelieve de volgende informatie door te geven:
- Bedrijfsnaam
- Servers
- Rack (voor zover bekend)
Wij doen alles in onze macht om het gehele serverpark terug online te krijgen.
We wachten rustig af tot volgens jullie alles terug zou moeten werken. Dan gaan we zelf ff alles meteen aflopen en zien of het effectief allemaal up and running is. Zo niet dan informeren we jullie wel even. Succes!
nog 1 server down, met toevallig :@ mijn email!!
Hier is nu alles terug up and running. Nu maar starten met de mailing -_-
Hier de meeste servers online, nu één voor één aan het na lopen.
Bij mij error op de noc bak: localhost interface was verdwenen. En ik maar zoeken waarom ie geen connecties kon maken :D
Wij zijn klaar en ik ga aan mijn nachtrust beginnen. Hopelijk werkt ook alles, morgen even een spoed bezoek brengen aan het datacentrum.
Robbert
Ook hier is alles zoals gezegd terug up and running, ook na een check up bleek alles perfect te werken. Het was even bang afwachten wat windows ging doen, maar ook dat ging uiteindelijk goed. Nu kruip ook ik onder de wol voor een paar uur. Terusten jongens!
Ik ben werkzaam bij Euroaccess, bij deze de 'officiele' uitleg wat er gebeurd is in Easynet in suite 1N bij euroaccess.
Rond 18:00, zondag middag kregen we melding van een storing in Easynet. Op dat moment was het niet duidelijk waar het om ging. Na veelvuldig contact met Easynet bleken enkele racks half offline te zijn, de B-feed (stroom) was offline. Op dat moment (18:30) zijn Paul, Rick en ik in de auto gestapt onderweg naar Easynet, Easynet had inmiddels een monteur opgetrommeld.
In easynet aangekomen bleek van onze B-feed stroomkast een van de drie fasen offline te zijn. In wat begrijpbaardere taal, ca 15 stroomgroepen waren offline, om nog onbekende reden. Alle A-feeds waren gewoon online. Na veel meten en zoeken bleek een hoofdzekering bij easynet eruit te liggen. Echter het vervangen van deze zekering moest door gekwalificeert personeel gebeuren wat op dat moment niet beschikbaar was. Na veelvuldig overleg is besloten dat de A-feed voldoende capaciteit had om de 'klap' op te vangen voor de nacht, met andere woorden alle racks konden volledig op de A-feed aangesloten worden. Zo gezegd zo gedaan, omstreeks 20:30 was de gehele suite weer online op de A-feed.
Vanaf dat moment zijn we druk bezig geweest alles te controleren, elke server stuk voor stuk om te zorgen dat alles weer draaide voor de nacht, het vervangen van de zekering en het terug stappen op de normale stroomvoorziening zou op een later tijdstip gebeuren. Rond 23:00 was dit geregeld en zijn we onderuitgezakt voor easynet gaan zitten, bijkomen van het onverwachte werk. Enkele uren zitten kletsen om vervolgens de spullen te gaan pakken om de welverdiende nachtrust op te gaan zoeken.
Echter bij binnenkomst in de suite (01:15) was het verdacht stil. En ja, ook de A-feed had het (deels) begeven. Het zelfde probleem als met de B-feed. De A-feed bleek dus totaal niet berekend op de extra load en ook hier was een hoofdzekering eruit geslagen. Opnieuw de monteurs opgetrommeld en besloten zelf de zekeringen te vervangen zodat alle feeds weer beschikbaar waren. Bijkomend probleem, het vervangen van de zekeringen houd in dat alle fasen van de krachtstroom offline moeten, waardoor rond 02:00 uur de volledige stroom afgesloten is in onze kooi in 1N.
De grootste verassing kwam voor ons bij het vervangen van de zekeringen. Hier bleek het een en ander niet te kloppen en hoe het nu precies zit en hoort te zitten moet nog kortgesloten worden met Easynet, en is ook niet iets waar ik jullie mee zal vervelen. De zekeringen zijn vervangen en vervolgens stuk voor stuk de racks weer online gebracht, ondertussen de load zoveel mogelijk verdelen tussen de 2 feeds en de fasen om verdere problemen te voorkomen. Dit heeft tot ca 04:00 in beslag genomen en vanaf dat moment zijn we weer bezig gegaan met alles stuk voor stuk te controleren.
Op moment van schrijven zijn we hier nog druk mee, maar dan zijn nu in ieder geval alle (eventuele) spookverhalen de wereld uit. Onze excuses voor het ongemak en voor verdere vragen zijn we via de bekende wegen te bereiken.
Groet,
Tim
ps. Ik wil de mensen van MediaServe bedanken voor hun inzet. Een paar extra handen kwamen uitstekend van pas!
FransVanNispen
25/09/06, 06:44
Bedankt voor de uitleg Tim.
Bij ons in ieder geval alles weer online. Geen enkele storing overgehouden.
Bij deze een extra bedankje voor Rick en voor Thomas en Bart van MediaServe die belangenloos al onze racks zijn nagelopen om servers die niet direct online kwamen te starten.
Helemaal top!
Crimi / Tim, bedankt voor de heldere uitleg.
De grootste verassing kwam voor ons bij het vervangen van de zekeringen. Hier bleek het een en ander niet te kloppen en hoe het nu precies zit en hoort te zitten moet nog kortgesloten worden met Easynet, en is ook niet iets waar ik jullie mee zal vervelen.
Als je wat weet, verveel ons hier alsjeblieft mee. Elke info die we kunnen krijgen is meegenomen!
Thomas en Bart, bedankt voor al jullie info! Hoewel ik klant bij jullie ben en info verschaffen er bij hoort, namen jullie -voor zover kon- de tijd om het allemaal uit te leggen. Bart: goed dat je je oplader meehad ;-) Al was er geen stroom :P
Ieder ander: bedankt voor jullie inzet
En tenslotte Tim:
bedankt voor mn localhost oplossing ;-)
cage 1N doet me denken aan een N+1 systeem :-)
In ieder geval hebben jullie een goede reden om lekker uit te slapen!
En de aansprakelijkheid kan gelegt worden bij ?
VDE Hosting
25/09/06, 07:59
In easynet aangekomen bleek van onze B-feed stroomkast een van de drie fasen offline te zijn. In wat begrijpbaardere taal, ca 15 stroomgroepen waren offline, om nog onbekende reden. Alle A-feeds waren gewoon online. Na veel meten en zoeken bleek een hoofdzekering bij easynet eruit te liggen. Echter het vervangen van deze zekering moest door gekwalificeert personeel gebeuren wat op dat moment niet beschikbaar was. Na veelvuldig overleg is besloten dat de A-feed voldoende capaciteit had om de 'klap' op te vangen voor de nacht, met andere woorden alle racks konden volledig op de A-feed aangesloten worden. Zo gezegd zo gedaan, omstreeks 20:30 was de gehele suite weer online op de A-feed.
Vanaf dat moment zijn we druk bezig geweest alles te controleren, elke server stuk voor stuk om te zorgen dat alles weer draaide voor de nacht, het vervangen van de zekering en het terug stappen op de normale stroomvoorziening zou op een later tijdstip gebeuren. Rond 23:00 was dit geregeld en zijn we onderuitgezakt voor easynet gaan zitten, bijkomen van het onverwachte werk. Enkele uren zitten kletsen om vervolgens de spullen te gaan pakken om de welverdiende nachtrust op te gaan zoeken.
Echter bij binnenkomst in de suite (01:15) was het verdacht stil. En ja, ook de A-feed had het (deels) begeven. Het zelfde probleem als met de B-feed. De A-feed bleek dus totaal niet berekend op de extra load en ook hier was een hoofdzekering eruit geslagen. Opnieuw de monteurs opgetrommeld en besloten zelf de zekeringen te vervangen zodat alle feeds weer beschikbaar waren. Bijkomend probleem, het vervangen van de zekeringen houd in dat alle fasen van de krachtstroom offline moeten, waardoor rond 02:00 uur de volledige stroom afgesloten is in onze kooi in 1N.
Dan wordt het misschien toch tijd dat er eens wat verzwaard gaat worden kwa hoofdzekeringen anders heb je binnen een paar dagen weer hetzelfde probleem.
sp-services
25/09/06, 08:39
hier nog stedds down !!! zelfs na een foto met de servers op die down waren dit is nu 12u +
Stefan Mensink
25/09/06, 09:17
Hmm. Vanochtend kwam ik er dus achter dat de hele reut er van 2:39 tot 3:14 heeft uitgelegen, tewijl we niet bij de eerste dip betrokken zijn geweest.
Meest relevante opvolging is nu: Wat gaat er concreet aan gedaan worden of wat is eraan gedaan dit soort problemen in de toekomst te voorkomen? Ik wacht het even rustig af, daar de heren natuurlijk ook een zware nacht gehad hebben.
Gelukkig doet alle hardware het op het eerste gezicht nog.
Als je in een DC een A+B feed krijgt, en je equipment heeft geen redundante voedingen, dan plaats je toch een STS? Het lijkt me dat in dit geval, de mensen die WEL hun boeltje correct aangesloten hadden (met STS of met redundante voedingen), de dupe waren. Had immers iedereen alles redundant aangesloten, had gisterenavond gewoon beslist kunnen worden om de B feed pas vandaag te herstellen, als er een gekwalificeerd iemand aanwezig was. Omdat blijkbaar veel mensen hun boeltje niet correct aansluiten, hebben diegene die het wel redundant aansluiten, downtime gehad lijkt me.
Gelukkig is nu: 8:38 alles weer online. Maar bij een vriend van mij zijn de servers nog steeds niet online!
euro-access
25/09/06, 10:36
Frankse
zowel de A als de B feed zijn er uitgeklapt. (deels) bij normaal stroom gebruik.
hierdoor moest alles door Easynet vervangen worden dus moet alles plat.
Alles is nu vervangen en werkt zoals het hoort.
Verder ontvangt elke klant binnenkort meer uitleg
Rick, ik lees op de "officiele" posting van je medewerker dat je de B-feed samen met de A-feed geduwd hebt en dat de "A+B" feed dan gesprongen is?
Nuja officieel dient een B feed ook alleen als backup feed en niet als extra feed!
Hier nog minimaal 2 servers offline. Wie is er nog in het datacentrum of gaat er zo heen? Anders ga ik er zo heen.
Hier helaas nog alles offline.
Dacht al, alles weg! 2 a 3 gigabyte/sec qua trafic in een keer weg. Maargoed, hopelijk is het snel opgelost!
Ja amai, 3 gigabyte/sec is rond de 24 gigabit/sec ... welk netwerk trekt zoveel? :-)
Bij mij error op de noc bak: localhost interface was verdwenen.
Nieuw kaartje gestoken? ;)
Ontopic dan maar... denk niet dat een STS zou geholpen hebben, gezien de dingen die dan op de B feed hingen (en hem overloadden) op de A zouden springen, waardoor deze hetzelfde probleem zou zien als nu gebeurd is... Misschien is er toch nog iets goeds aan het InterXion-Brussels-meet-alle-stroom-en -beslist-op-basis-daarvan-of-die-machine-nog-wel-in-je-rack-bij-mag-op-de- 16A-stroomvoorziening...
sp-services
25/09/06, 12:13
als er nog ùmensen zijn die problemen hebben kunnen we wel helpen aangezien we op weg zijn naar amsterdam.
0032 499 123 707
Idem dito, verwacht er om 13:00 te zijn. Geen idee of iedereen hier in de zelfde suite (1N) zit en in dezelfde kooi, linksig achterin?
Niet dus, melding was dat je er alleen in komt als het aan bovenstaande gerelateerd is. :o
Kooien zouden verboden moeten worden, maar dat is een ander punt. ;)
Rick, ik lees op de "officiele" posting van je medewerker dat je de B-feed samen met de A-feed geduwd hebt en dat de "A+B" feed dan gesprongen is?
de B-feed is in eerste instantie (deels) gesprongen. racks die gebruik maakten van deze B-feed waren dus offline (sommigen gebruiken voor de bovenste helft de A-feed, onderste helft de B-feed).
Omdat de B-feed niet gerepareerd kon worden op dat moment is ons verzekerd dat alles op de A-feeds kon draaien, m.a.w. we hebben de racks die half offline waren omgedrukt naar hun A-feed. Echter achteraf bleek dat de A-feed hier helemaal niet op voorbereid was en hier dus net zo hard een fase eruit knalde.
Omdat we daardoor 30(!) stroomgroepen te weinig kwamen is besloten toch een manier te vinden de zekeringen te vervangen door easynet. Echter zodra je met 1 fase aan de haal gaat moeten ze allemaal offline, gevolg dat de racks die nog op een fase van de A-feed zaten die wel online was ook offline gingen.
Al met al een hoop gezeur wat niet nodig had moeten zijn. Laten we het daar over een zijn. Ook hebben we op dit gehele process geen invloed kunnen uitoefenen, hiervoor zijn wij ook afhankelijk van easynet. En het had nooit mogen gebeuren, dat is ook een feit. Zodra er meer concrete informatie etc is wordt dit gecommuniceerd naar de klanten, maar op dit moment is het voor ons zaak even een paar uurtjes slaap in te halen en vervolgens de situatie rustig te analyseren, snachs om half 7 wil dat niet zo goed meer ;)
Alles draait hier nu weer.
Dat alles er door zou vliegen als de B-feed bij de A-feed op zou worden gezet zou te verwachten zijn als eerst de B-feed is gesprongen en ze ongeveer net zoveel zouden moeten kunnen hebben. Wel is het opvallend dat er 's nachts niemand te vinden was die gediplomeerd was om de zekering te vervangen.
Daarnaast is het zo dat het wel zo netjes was om de klanten vooraf in te lichten dat de stroom er totaal af ging (toen hij er met opzet af werd gehaald). Dit had mogelijk beter gekund.
Hmm, de backupserver heeft de uitval om 2:21 niet overleeft, toch een reden om naar het DC te gaan (helaas :()).
Alles draait hier nu weer.
Dat alles er door zou vliegen als de B-feed bij de A-feed op zou worden gezet zou te verwachten zijn als eerst de B-feed is gesprongen en ze ongeveer net zoveel zouden moeten kunnen hebben. Wel is het opvallend dat er 's nachts niemand te vinden was die gediplomeerd was om de zekering te vervangen.
Daarnaast is het zo dat het wel zo netjes was om de klanten vooraf in te lichten dat de stroom er totaal af ging (toen hij er met opzet af werd gehaald). Dit had mogelijk beter gekund.
Wij zijn ruim op tijd op de hoogte gesteld, zodat wij nog snel een extra backup konden trekken en de servers netjes af konden sluiten.
Daarnaast vraag ik me af hoe easynet naar gediplomeerde electrotechnici heeft gezocht, ik had er minstens 2 beschikbaar om in te zetten die binnen 20 minuten in easynet hadden kunnen zijn.
Wij zijn ruim op tijd op de hoogte gesteld, zodat wij nog snel een extra backup konden trekken en de servers netjes af konden sluiten.
Daarnaast vraag ik me af hoe easynet naar gediplomeerde electrotechnici heeft gezocht, ik had er minstens 2 beschikbaar om in te zetten die binnen 20 minuten in easynet hadden kunnen zijn.
Ik weet niet door wie jullie op de hoogte zijn gesteld, maar ik ben als directe klant van EuroAccess niet gebeld, gesms't of gemaild (zie achteraf ook geen mail staan). Indien er om 20.00 uur om 2 gediplomeerde electriciens was gevraagd waren die er uiterlijk 23.00 uur geweest als ze mij hadden gevraagd waar ze deze konden vinden (incl. onderdelen en gereedschap).
crazycoder
25/09/06, 15:06
Waarom krijg ik dan altijd te horen dat de A en B feed niet gelijktijdig gebruikt mogen worden?
Ik neem aan dat Easynet eigen techs heeft of een huis-electricien die dat soort zaken op zal moeten lossen.
Dat alles er door zou vliegen als de B-feed bij de A-feed op zou worden gezet zou te verwachten zijn als eerst de B-feed is gesprongen en ze ongeveer net zoveel zouden moeten kunnen hebben. Wel is het opvallend dat er 's nachts niemand te vinden was die gediplomeerd was om de zekering te vervangen.
dat was het hem juist, de B feed zou nooit overbelast geweest kunnen zijn, en de a-feed ook niet. maar achteraf blijkt dat het een en ander niet op orde is aan de stroomvoorziening waardoor dit wel het geval is geweest.
Daarnaast vraag ik me af hoe easynet naar gediplomeerde electrotechnici heeft gezocht, ik had er minstens 2 beschikbaar om in te zetten die binnen 20 minuten in easynet hadden kunnen zijn.
dat vraag ik me ook af ;) de technici die aanwezig waren deden wat ze konden cq mochten, maar allen waren niet gecertificeerd om aan het krachtstroom circuit te werken. en de persoon die easynet daar wel voor had kon maandag middag pas aanwezig zijn. een dikke plus voor de technici die er was en die alles op alles zette om ons zo goed mogelijk te helpen, ondanks restricties van bovenaf. zouden meer mensen moeten doen!
Swiftway-UK
25/09/06, 15:26
Wat even niet duidelijk is in dit verhaal,is waarom de B feed als actieve feed gebruikt werd.
A feed is een actieve feed, B feed is een feed uitsluitend bedoeld voor backup doeleinden of is er nu een verwarring ontstaan in termen?
Wat even niet duidelijk is in dit verhaal,is waarom de B feed als actieve feed gebruikt werd.
A feed is een actieve feed, B feed is een feed uitsluitend bedoeld voor backup doeleinden of is er nu een verwarring ontstaan in termen?
Daar is sowieso nog verwarring over, ook bij ons. Echter zonder de b-feed te gebruiken is het al helemaal niet mogelijk alle apperatuur van de nodige amperes te voorzien. En wij stoken echt niet zo heel veel. Hoe het verder in elkaar zit en hoe het verder moet, moet komende week goed met easynet door gesproken worden, en deze gehele situatie moet geevalueerd worden omdat het nooit, maar dan ook nooit meer voor mag komen. Daar zijn gelukkig alle partijen het over eens.
Mijn verhaal was ook meer bedoeld om uit te leggen wat er precies gebeurd was. Het waarom is grotendeels nog een groot zwart gat wat de komende dagen gevult zal worden.
Wat even niet duidelijk is in dit verhaal,is waarom de B feed als actieve feed gebruikt werd.
A feed is een actieve feed, B feed is een feed uitsluitend bedoeld voor backup doeleinden of is er nu een verwarring ontstaan in termen?
Het is maar net hoe je 't opvat.
Ik maak sinds de oplevering van ons halve rack gebruik van één van de twee feeds, de partij boven mij (Technotop) maakt gebruik van de andere feed.
Feit is wel, ondanks dat het wellicht als backup doeleinden bedoeld zou moeten zijn, is dat wij korte downtime hebben ondervonden (van 1.5-2 uur), itt. tot de vele andere partijen.
Ander feit is, dat je nooit een volledig rack kan aansluiten op 1 feed.
Wat even niet duidelijk is in dit verhaal,is waarom de B feed als actieve feed gebruikt werd.
Als je een machine op beide feeds aansluit zijn ze allebei actief (nemen allebei een deel van de stroomvoorziening op zich. Het is niet zo dat alleen voeding A dan de stroomafname doet en dat voeding B pas iets gaat doen als A wegvalt. Ze verdelen het gewoon. Je hebt dus altijd 2 actieve feeds (en als je machine op feed A bijv. 5 Ampere doet, zal ie dat op feed B ook doen).
Nog los van het feit dat de B-feed dezelfde hoeveelheid stroom moet kunnen leveren bij uitval. Dus A-feed en B-feed dienen dezelfde capaciteit te hebben.
Het juiste plaatje is:
(totaalverbruik x 2) + % spare = capaciteit A + B feed.
Swiftway-UK
25/09/06, 16:09
Duidelijk verhaal hierboven, maar normaliter is het zo:
Rack met 2 feeds (A+B) van 16A ieder, dat betekent een max toegestaan verbruik van 14A
14A is genoeg voor een kast, tenzij je er 40 dual CPU servers in mikt.
in zo een geval staat er inderdaad spanning op A en B, maar is het niet de bedoeling om A en B volledig te belasten of te splitsen als feed, vaak is de B feed een mogelijkheid om apparatuur met redundante voedingen aan verschillende stroompunten te schakelen, waardoor bij uitval van een van de stroompunten (bijvoorbeeld A) de apparatuur blijft doordraaien.
Ik ben nog geen contract van een DC tegengekomen waar je volledig gebruik mag maken van zowel A als B feed tegelijkertijd, normaliter word er totaal 14A gebruik toegestaan waardoor beide circuits de hele belasting kunnen dragen.
Althans, zo is mij altijd verteld en beschreven in contracten.
FransVanNispen
25/09/06, 16:13
Ik weet niet door wie jullie op de hoogte zijn gesteld, maar ik ben als directe klant van EuroAccess niet gebeld, gesms't of gemaild.
Wij waren ook op de hoogte. Wél moesten we hiervoor ook tot 6 uur 's ochtens een vinger aan de pols houden via MSN. Met de nodige regelmaat zijn we door Paul, Rick en de jongens van MediaServe even ingelicht over de gang van zaken.
Aangezien ze het erg druk hadden met de storing, en er een onverwachte domper achteraan kwam, begrijp ik heel goed dat iedereen bellen, SMS'en of een mailing doen in deze situatie niet de hoogste prio had. Het grootste deel van de klanten was door de eerdere storing ook al op de hoogte van de problemen.
Omdat wij vannacht alle systemen hebben getest en met hulp van Rick en MediaServe de systemen die problemen gaven online hebben gekregen, was bij ons deze ochtend alles online.
FransVanNispen
25/09/06, 16:16
14A is genoeg voor een kast, tenzij je er 40 dual CPU servers in mikt.
Bij ons trekken 21 Supermicro 260W kasten met Pentium IV's en Celerons 9.6A
Ik zou dan ook graag willen weten hoe ik die kast op 14A helemaal kan vullen?
Ik snap dat mailen/bellen/sms'en etc. niet de grootste prioriteit heeft, maar een kort bericht van pakweg 10 regels via de mailinglijst versturen die ze normaal ook gebruiken (voor netwerk upgrades/gepland onderhoud/etc.) zou niet zo lang mogen duren. Zet er in dat ivm noodonderhoud servers offline gaan en dat ze gecontroleerd weer online komen of iets dergelijks.
Het zou maximaal 10 minuten duren om een engels en/of nederlandstalig bericht rond te sturen waarin ook nog in staat om welke precieze locatie het gaat. Dat is klanten voorlichten (zelfde tekst kun je immers ook op WHT plakken zodat de gene die niet bij de mail kunnen het ook weten).
Persoonlijk zie ik het verhaal mbt de stroom feeds iets anders:
Elk rack heeft een A-feed en B-feed (beiden 16 amp. piek belasting). Daar binnen verdeel je bijv. 15 amp over beide feeds, hoe deze verdeling precies gaat is van minder belang.
Valt 1 feed uit -> belangrijke zaken ompluggen, maar backup servers, backup switches en dergelijke uit zetten/laten.
Daarnaast valt me op dat de gene met de papieren die ze hebben kunnen bereiken pas maandag middag beschikbaar zou zijn. Persoonlijk denk ik dat ze dat contract moeten herzien/meer bedrijven achter de hand moeten hebben.
EDIT:
Nadat de problemen verholpen waren en alles goed leek te werken had er een mailing rond kunnen gaan aangezien er toen tijd voor was.
In GlobalSwitch mogen we in principe 16 A gebruiken per rack.
Swiftway-UK
25/09/06, 17:44
In GlobalSwitch mogen we in principe 16 A gebruiken per rack.
Wat is de maximale belasting daar per circuit? als dat 16A is, dan mag je dat zeker niet geheel belasten.
Bij ons trekken 21 Supermicro 260W kasten met Pentium IV's en Celerons 9.6A
Ik zou dan ook graag willen weten hoe ik die kast op 14A helemaal kan vullen?
Simpel, dat kan je niet. Komop er is een grens gelegd in een datacenter als Redbus waar je niet boven aan X aantal ampére uit mag komen en die ligt belachelijk laag. Als je in een rack 40 servers wil hangen mag je rekenen dat je zo goed als zeker rond de 20 ampére uit zal komen. Wie enkel AMD's gebruikt kan hier nog onder zitten, maar voor de rest zit je zeker aan die lijn van 20 ampére en dan moet je er echt geen zware machine als een dual Xeon in gaan draaien.
Swiftway-UK
25/09/06, 17:55
Easynet is berekend (volgens henzelf) op 16A per footprint, Redbus op 8 en telecity naar ik heb vernomen op 6.
Je moet weten dat je een 16A max circuit maximaal voor 80% continue mag belasten, 14A is dus een redelijke maatstaaf.
Easynet is berekend (volgens henzelf) op 16A per footprint, Redbus op 8 en telecity naar ik heb vernomen op 6.
Je moet weten dat je een 16A max circuit maximaal voor 80% continue mag belasten, 14A is dus een redelijke maatstaaf.
Allemaal goed en wel, maar ik heb er toch een probleem mee. No way dat je een rack van 41U zomaar eventjes volledig kan vullen en dan nog maar aan 16 ampére uit gaat komen. De dames en heren van Easynet / Redbus / Telecity mogen dat voor mij eens komen tonen. Oké, er moet zorgvuldig omgesprongen worden met stroom, maar als je een kast huurt en je betaaldt voor je Ampéres dan is het minste wat je kan verwachten dat je alle machines draaiende kan krijgen en vooral ook houden.
Swiftway-UK
25/09/06, 18:21
Wij hebben een aantal kasten vol met 2U dual xeons en die blijven onder de 14A.
Ruimte is tegenwoordig niet meer de limiterende factor maar stroomverbruik per footprint. Dit is altijd al de limiterende factor geweest, het is gewoon een kwestie van rekening mee houden in je kostprijs.
Wij hebben een aantal kasten vol met 2U dual xeons en die blijven onder de 14A.
Ruimte is tegenwoordig niet meer de limiterende factor maar stroomverbruik per footprint. Dit is altijd al de limiterende factor geweest, het is gewoon een kwestie van rekening mee houden in je kostprijs.
Mag je me even (eventueel per pb) aangeven welke systemen je hiervoor gebruikt, lijkt me er interessant als je een volledige kast met dual xeons kan vullen en nog geen 14 ampére haalt.
Swiftway-UK
25/09/06, 18:28
volledig vullen... 20 systemen is natuurlijk niet volledig gevuld. met1U density zou je er 40 in kunnen mikken.
Wij gebruiken HP en IBM systemen, Dell staat erom bekend dat hun systemen meer stroom gebruiken.
Sowieso staat me ergens van mij dat amd minder stroom trekken. En wel zo'n beetje vergelijkbaar zijn.
Aanvulling op Tim/Crimi:
De situatie was toen ik, Paul en Tim binnenkwamen niet bepaald om over naar huis te schrijven, er lagen steeds halve kasten offline als gevolg van een stroomstoring en er was geen vervanging aanwezig behalve dus de A-Groep.
Na overleg met Easynet is er besloten om alles op de A-groep te prikken wat Easynet de tijd zou geven om een degelijk oplossing samen met haar leverancier te vinden. Later die avond sprong de een gedeelte van de A-Groep eruit. De zekering moest volledig vervangen worden, helaas was het wel nodig om ALLES uit te zetten en dan deze geleidelijk weer aan te zetten ivm de pieken.
Wij hopen vandaag of anders morgen een officiele verklaring te kunnen vrijgeven.
Nogmaals, onze oprechte excuses voor het ongemak, en ik wou iedereen namens Euroaccess bedanken voor de geboden hulp!
Edit: Iedereen die vragen hebben over bovenstaand bericht kunnen zich wenden tot Paul (info [AT] euroaccess.nl) of mijzelf Rick ( rick [AT] euroaccess.nl).
stroomverhalen
dat was het hele punt hem nou juist. de a en b feed liggen er ivm redunantie, en het idee is idd dat je maximaal piekt naar 16A per kast (zijn de feeds op gezekerd) dus idd continu rond de 14A blijft. mocht een van je twee feeds wegvallen kan je op de andere doordraaien. anderen gebruiken dit gewoon om de helft van het rack op A en de helft van het rack op B aan te sluiten, in principe veranderd dit niets aan het verhaal, alleen ben je niet redunant.
maar daar kwam het probleem. die hele a feed wou echt geen 14A per groep trekken. en hetzelfde geld voor de b feed. en daar ging het dus mis. waarom de b-feed eruit klapte (gedeeltelijk) is nog niet zeker, maar door het overprikken van alles naar de a-feed, wat volgens easynet en bovenstaande stukken tekst ook zonder problemen moest kunnen, vloog de a-feed er later uit, omdat deze bij lange na niet genoeg capaciteit heeft om aan de vraag te voldoen.
hoe het verder precies zit en wat er verder gaat gebeuren komt nog in een officiele mailing richting de klanten zodra er rustig naar de situatie gekeken is en hoe alles nu precies gegaan is afgelopen nacht.
en zoals rick zei, heb je nog specifieke vragen aarzel dan niet om contact op te nemen
Even voor de duidelijkheid, als er hardwareschade is, kunnen klanten zich dan tot jullie / easynet richten?
:( corrupte hdds
Ik ben bang dat ik daar ook mee te maken heb nu
1 van de 2 servers is online
Eens zien wat mijn hoster zegt
Even voor de duidelijkheid, als er hardwareschade is, kunnen klanten zich dan tot jullie / easynet richten?
Eh lijkt me niet ? Valt toch onder overmacht dit lijkt mij.
Als je geen 100% SLA hebt op stroom, en volgens mij is zelfs dat altijd nog 99,999999999999% betekent het dat het uit kan vallen en dat de boel bij jou stuk gaat omdat de stroom uitvalt is jouw probleem. Je kan ook een UPS plaatsen met serieel kabeltje naar de server en powerchute erop en het wordt netjes afgesloten.
Als dit al overmacht zou zijn dan is alles straks overmacht. :o
Dat het gebouw instort is overmacht, dat de stroom niet werkt omdat er intern een zekering poef zegt is gewoon hun probleem.
euro-access
25/09/06, 21:28
Klanten van Euroaccess kunnen met vragen contact opnemen met Euroaccess. Het lijkt ons niet gepast deze zaken op WHT af te handelen.
Klanten van Resellers kunnen contact opnemen met zijn of haar leverancier.
roberto333
25/09/06, 21:31
dat was het hele punt hem nou juist. de a en b feed liggen er maar daar kwam het probleem. die hele a feed wou echt geen 14A per groep trekken. en hetzelfde geld voor de b feed. en daar ging het dus mis. waarom de b-feed eruit klapte (gedeeltelijk) is nog niet zeker, maar door het overprikken van alles naar de a-feed, wat volgens easynet en bovenstaande stukken tekst ook zonder problemen moest kunnen, vloog de a-feed er later uit, omdat deze bij lange na niet genoeg capaciteit heeft om aan de vraag te voldoen.
Wat ik dan niet snap, is waarom de hele A-feed er dan uit klapte. Die bestaat toch uit meerdere groepen? Ik zou me kunnen voorstellen dat de groep waarop je net 1 server te veel aansluit eruit klapt, maar toch niet alle andere groepen van de A-feed?! Dat zou betekenen dat een willekeurige klant met een rack alle andere racks met zich mee kan sleuren...
Eh lijkt me niet ? Valt toch onder overmacht dit lijkt mij.
De vraag is in hoeverre het overmacht is:
- Was de zekering aan vervanging toe door ouderdom?
- In hoeverre is er meer verkocht dan de capaciteit toe zou laten? (volt hoog*amp hoog/volt norm./14=max. aantal 14 amp aansluitingen zonder overselling, dit ligt voor zover ik heb begrepen tot nu toe rond de 7)
- Hoeveel werd er daadwerkelijk gebruikt? (Dit moet op te vangen zijn door de A-feed als er geen B-feed is en omgekeerd)
- Handmatig uitschakelen van alle racks die nog up waren en geen contact opnemen met de betreffende klanten voor correct afsluiten/controleren of ze weer up zijn gekomen na de tijd? Dan kun je weg zodra alles weer draait en getest is, dus je beld klant A en meld dat zijn/haar racks weer up zijn en dan kan deze dat controleren en mocht dat niet zo zijn dan kan deze persoon aangeven welke server(s) nog down zijn.
- In hoeverre klopten de berekeningen en is de temp. van de zekering in de gaten gehouden?
- Op welke gegevens zijn de berekeningen gebaseerd en in hoeverre zijn deze gegevens gecontroleerd en is voor de tijd bepaald wat het eerste probleem veroorzaakte?
- Wie heeft bepaald dat het zou moeten kunnen?
En zo zijn er nog een heel aantal vragen welke beantwoord moeten worden om te bepalen of het overmacht is.
euro-access
25/09/06, 22:27
zoals eerder aangegeven
Klanten van Euroaccess kunnen met vragen contact opnemen met Euroaccess. Het lijkt ons niet gepast deze zaken op WHT af te handelen.
Klanten van Resellers kunnen contact opnemen met zijn of haar leverancier.
Stroom werkt weer. dus topic kan dicht