Bekijk Volledige Versie : Leaseweb [easynet] storing en timeouts
Op dit moment heeft Leaseweb last van een storing in Easynet.
Een update van de noc pagine van Leaseweb:
Dear Customer,
At the moment we experience some troubles on location EasyNet, we are receiving an large DDoS.
We are doing our utmost to solve this issue a.s.a.p.
As soon as we have more information available, we will publish it here.
Please be patient while we are working on this problem.
Regards,
LeaseWeb BV
Hopelijk wordt het snel opgelost, wij wachten geduldig af.
asteriskfreak
03/07/08, 21:40
Hier dus ook. Het verbaast me dat er nu pas een reactie komt dat er een storing is. Deze storing is al zeker bijna 2 uur aan de gang.
Het vreemde is dat de site van Leaseweb zelf wel gewoon bereikbaar is, en Hyves ook. Misschien een bepaald deel van hun rack welke door een storing getroffen wordt?
Staan Hyves en de Leaseweb site niet op de Evo locatie?
Ons rack op Easynet is inderdaad ook onbereikbaar.
Triloxigen
03/07/08, 21:43
LSW zelf en Hyves staan niet in Easynet maar in Evoswitch
Mijn server is ook al bijna een half uur onbereikbaar. Duurt wel lang deze keer.
Ja, dit keer is het ECHT een grote dDoS. Wij zijn eigenlijk als sinds 18.25 onbereikbaar. Is even up geweest maar daarna weer down. We zagen in onze monitoringservice dat ook sites van klanten bij Cambrium plat waren en een klant bij Essent. Is hier niet iets veel groters aan de hand (buitenlandse dDoS)?? Waarom zie je bij de AMS-iX geen dip?
Zit iedereen al bij Evo dan? Ik dacht dat de Lsw racks bij Esy nog redelijk vol waren.
Swiftway-UK
03/07/08, 22:35
Zit iedereen al bij Evo dan? Ik dacht dat de Lsw racks bij Esy nog redelijk vol waren.
LSW racks bij Easynet, SBP en Telecity 2 zitten dan ook allemaal nog nagenoeg vol. Evoswitch is een groei locatie. Leaseweb is inmiddels een van de grootste dedicated server providers ter wereld.
Wij staan in 1D. Daar is alles tot de nok toe vol, maar geen idee of dat allemaal LSW is of niet.
2A staat nog een server van ons.
Maar het is huilen vanavond... Niks mee te beginnen... Enige wat we kunnen doen is afwachten.
Triloxigen
03/07/08, 22:43
Je doet er toch niks aan, dus rustig avondje op de bank vanavond.
Wij staan in 1D en alles is down hier, 2 servers sowieso, de rest staat in evo.
laatste update:
[update 21:13]
We have been unable to find a effective method of deflecting the DDoS. We are still working on the issue.
erg jammer weer zo'n storing.. kreeg toepasselijke banner erboven (ook al kan LSW er niets aan doen)
Geachte,
Ik zou jullie willen adviezeren de NOC pagina in de gaten te houden, deze kun je vinden op:
http://noc.leaseweb.com
We ondervinden op dit moment grote DDoS aanvallen op de Easynet routers. Meer info volgt op onze NOC pagina
Hier ook zoals verwacht 2 bakken onbereikbaar die in Easynet hangen... Over hyves, die staan toch in Easynet EN in Evo ?
Over hyves, die staan toch in Easynet EN in Evo ?
Dat klopt.
Geachte,
Ik zou jullie willen adviezeren de NOC pagina in de gaten te houden, deze kun je vinden op:
http://noc.leaseweb.com
We ondervinden op dit moment grote DDoS aanvallen op de Easynet routers. Meer info volgt op onze NOC pagina
Niet erg actueel vindt ik, laatste update 21:13 uur het is inmiddels al 22:30 uur.
Is er nog een update?
Hier is nog steeds na 4 UUR downtime alles plat. Sorry hoor, maar het gaat er bij mij niet in dat er niks aan gedaan kan worden. Ik vind de hele organisatie bij Leaseweb uitermate slecht. Telefoon die niet wordt opgenomen, late reactie-tijd aan hun kant. Zeer onprofessioneel van zo'n grote partij.
Ik kan dit niet aan mijn klanten verkopen, en de schade loopt gigantisch op. Tevens heb ik vernomen van een bron binnen Leaseweb, dat de oorzaak dat het zo lang duurde voordat men reageerde, is dat men niemand had die standby stond om naar Easynet te rijden. Waarvoor betaal ik die duizenden euro's per maand dan ? Zo dat is er uit.
Rikkilake : jouw site werkt nog?
[update 22:50]
The bulk of the DDoS traffic has stopped.
However we are still experiencing unstable routing.
.....Tevens heb ik vernomen van een bron binnen Leaseweb, dat de oorzaak dat het zo lang duurde voordat men reageerde, is dat men niemand had die standby stond om naar Easynet te rijden....
Dan nog, dailup werkt altijd!
asteriskfreak
04/07/08, 00:05
Mijn server doet het weer.Ik hoop dat het ook zo blijft en zover opgelost is
Ik ben wel benieuwd aan wie deze DDoS gericht was. Gezien het verleden van LSW met hun klantjes die wegmoesten vanwege bepaalde content op hun servers vraag ik het me toch af.
Ook is het toevallig altijd de locatie EasyNet.
Dan nog heb je het van 'horen-zeggen'. Stick to the facts zou ik dan zeggen. Er is personeel genoeg en er zijn vanaf het begin mensen mee bezig. Echter, deze dDOS is dermate groot en veranderlijk dat bestrijding zeer lastig is. Ook aan een dialup heb je niks....
Ik heb een eurovps server lopen. Deze was de gehele avond ook onbereikbaar als gevolg van de storing bij easynet, niet leaseweb specifiek dus.
Dan nog heb je het van 'horen-zeggen'. Stick to the facts zou ik dan zeggen. Er is personeel genoeg en er zijn vanaf het begin mensen mee bezig. Echter, deze dDOS is dermate groot en veranderlijk dat bestrijding zeer lastig is. Ook aan een dialup heb je niks....
Of je nou 10 of 100 man beschikbaar hebt.. ze kunnen niet allemaal in de router config gaan duiken..
Kan wel, maar heeft weinig zin :). Wilde alleen aangeven dat er geen personeel mee bezig was en/of beschikbaar dus niet klopt.
Mathijsb: eurovps draait bij LeaseWeb, dus vandaar de storing
Dan nog heb je het van 'horen-zeggen'. Stick to the facts zou ik dan zeggen. Er is personeel genoeg en er zijn vanaf het begin mensen mee bezig. Echter, deze dDOS is dermate groot en veranderlijk dat bestrijding zeer lastig is. Ook aan een dialup heb je niks....
Ik heb als klant niks te maken met de problemen en de excuses die aangehaald worden, ik betaal voor service, die niet geleverd wordt. Dat is het enige wat telt. En het is niet de eerste keer dit jaar, maar regelmatig is het raak. Dan weer 5 minuten, dan weer een half uur. Echt bagger.
Merlijn, daar jij blijkbaar banden hebt met leaseweb, kan jij eventueel meer uitleg geven?
Oh, vandaar. Ik dat dat het easynet>eurovps was. Maar de opstelling is dus easynet>leaseweb>eurovps? Nooit geweten :)
Mathijs: correct
IT-Worx: het begon met een grote dDOS op 1 klant. Toen dit onder controle was, is deze echter verplaatst (meerdere malen) naar andere IP blokken te EasyNet. Ook de aanval an-sich werd groter, met als uiteindelijk gevolg dat de routers op Easynet volledig belast werden. Hierdoor gingen alle OSPF/BGP/etc sessies down en kregen we te maken met een zeer instabiel netwerk(deel). Probleem hierbij was dat wanneer alles weer min of meer terug kwam de dDOS er weer zo hard overheen kwam dat alles weer weg viel. Tevens is het probleem bij zoveel load, dat het uitvoeren van commando's soms niet of heel langzaam gaan. (* dit is allemaal onder voorbehoud. Ik heb de engineers hun werk laten doen en niet teveel naar details gevraagd op dit ogenblik).
Ik vernam zojuist wel dat het netwerk stabieler is op dit ogenblik.
RikkiLake: zullen we die discussie hierbuiten houden? Ik ken je geschiedenis en jij neem ik aan ook. Bashing heeft hier geen zin en zal zeker geen problemen oplossen. Ik hoop dat je begrijpt dat ook wij hier de dupe van zijn. Ik heb ook nog geen enkel excuus aangedragen (voor wat, dit is niet een human-error of een fout aan onze kant, maar simpelweg een criminele actie tegen ons netwerk).
Oh, vandaar. Ik dat dat het easynet>eurovps was. Maar de opstelling is dus easynet>leaseweb>eurovps? Nooit geweten :)
Kun je vaak aan de owner van je ipadressen zien.
Ik vernam zojuist wel dat het netwerk stabieler is op dit ogenblik.
Wij zijn hopelijk niet de enige die nog down zijn toch? Anders moet ik straks zelf nog naar Schiphol...
Tot ca. 22:40 uur kwam ik er nog doorheen met ongeveer 80% packet loss, maar sindsdien is er geen pakketje meer doorheen gekomen.
Keurige uitleg Merlijn! Top!
Hier is alles weer volledig terug. Rack locatie: 2A.
En bedankt voor de toelichting Merlijn :)!
Triloxigen
04/07/08, 01:00
Hier is nog steeds na 4 UUR downtime alles plat. Sorry hoor, maar het gaat er bij mij niet in dat er niks aan gedaan kan worden. Ik vind de hele organisatie bij Leaseweb uitermate slecht. Telefoon die niet wordt opgenomen, late reactie-tijd aan hun kant. Zeer onprofessioneel van zo'n grote partij.
Dus je hebt liever dat ze klanten aan de lijn gaan houden om te vertellen wat op de website staat dan dat ze werkelijk aan het probleem werken?
Alle respect voor de mensen bij Easynet / Lsw die hun best doen om deze problemen op te lossen. Echter een dDOS van deze omvang en die zo lang duurt is wel heel erg uitzonderlijk: dit heeft ruim 5 uur geduurd. Wat is er nu precies gebeurd? Lsw is een van de grootste colo's met 80 Gb/s aan bandbreedte, dat krijg je echt niet zomaar even vol. So what the f*ck happened??? :mad: :mad:
Corrigeer mijn globale berekening cq theorie, maar waarschijnlijk was dit een dDOS met gekaapte pc's (zombies). Rond de tijd dat Nederland naar bed gaat en iedereen hun pc's uit zet was het ook weer afgelopen. Ik schat dat (voordat je de boel zo plat legt) er toch tussen de 600000 tot 1 M gekaapte pc's hierbij betrokken zijn geweest, dit kan echt niet van een paar duizend pc's zijn lijkt me zo. Hoe kan dit, terwijl vrijwel iedereen op XP SP2 zit cq op Vista? En....wat gebeurt er morgenavond om 18.25??
Zoals ik nu kan zien draait alles weer, zoals je verwachten mag :)
Het heeft naar mijn inziens wel wat te lang geduurd, maar helaas komen dit soort fratsen nog geregeld voor.
Ondanks de langdurige 'downtime' ben ik blij dat Leaseweb alles onder controlle wist te krijgen, ook al had het sneller gekund, maar dat is niet van belang.
Belangrijker is dat alles weer netjes draait.
Alle respect voor de mensen bij Easynet / Lsw die hun best doen om deze problemen op te lossen. Echter een dDOS van deze omvang en die zo lang duurt is wel heel erg uitzonderlijk: dit heeft ruim 5 uur geduurd. Wat is er nu precies gebeurd? Lsw is een van de grootste colo's met 80 Gb/s aan bandbreedte, dat krijg je echt niet zomaar even vol. So what the f*ck happened??? :mad: :mad:
Corrigeer mijn globale berekening cq theorie, maar waarschijnlijk was dit een dDOS met gekaapte pc's (zombies). Rond de tijd dat Nederland naar bed gaat en iedereen hun pc's uit zet was het ook weer afgelopen. Ik schat dat (voordat je de boel zo plat legt) er toch tussen de 600000 tot 1 M gekaapte pc's hierbij betrokken zijn geweest, dit kan echt niet van een paar duizend pc's zijn lijkt me zo. Hoe kan dit, terwijl vrijwel iedereen op XP SP2 zit cq op Vista? En....wat gebeurt er morgenavond om 18.25??
jdr, een maximale bandbreedte van 80Gb/s op locatie EasyNet betekend natuurlijk niet dat dit ook 80Gb/s dDoS verkeer kan weerstaan. Er zijn vele verschillende soorten dDoSsen, waarvan sommige met slechts 5 mbit traffic al een flinke blamage kunnen veroorzaken.
Bovendien bestaan er helaas nog steeds ondenkbaar grote botnets.
Zie ook: http://nl.wikipedia.org/wiki/Distributed_Denial_of_Service
RikkiLake: zullen we die discussie hierbuiten houden? Ik ken je geschiedenis en jij neem ik aan ook. Bashing heeft hier geen zin en zal zeker geen problemen oplossen. Ik hoop dat je begrijpt dat ook wij hier de dupe van zijn. Ik heb ook nog geen enkel excuus aangedragen (voor wat, dit is niet een human-error of een fout aan onze kant, maar simpelweg een criminele actie tegen ons netwerk).
Ik weet niet over welke geschiedenis je het hebt, en ik ben hier ook niet aan het bashen.
Dus je hebt liever dat ze klanten aan de lijn gaan houden om te vertellen wat op de website staat dan dat ze werkelijk aan het probleem werken?
Aangezien ze genoeg personeel hebben, lijkt met dan niet eens zo'n slecht idee.
Ik neem aan dat je niet 10 man op de router tegelijk laat werken.
asteriskfreak
04/07/08, 11:20
Jullie kunnen dit niet even persoonlijk afhandelen?
Ook ik ben getroffen door deze laffe daad gisteren. Mijn hele telefoonverkeer lag plat! Wegens tijdgebrek geen tijd gehad om een backup te maken en deze op een andere server te zetten.
Ik hoop niet dat dit vanavond weer gaat gebeuren en dat Leaseweb eventueel standby staat. In ieder geval heb ik de nodige noodmaatregelen al getroffen.
Nee vertel, welke geschiedenis ? Gaan we persoonlijk worden ? Bel me maar even op, om uit te leggen waar je het over hebt. Telefoonnummer heb je wel zeker. Ik kijk er naar uit.
Hier ook slecht bereikbaar geweest, maar redelijk snel opgelost door de heren naar mijn idee.
Timmeh :D
Ik heb een eurovps server lopen. Deze was de gehele avond ook onbereikbaar als gevolg van de storing bij easynet, niet leaseweb specifiek dus.
Je beseft dat EuroVPS op het leaseweb netwerk draait? Easynet heeft niets te maken met deze storing.
Probleem opgelost, verdere discussie kan eventueel in een ander topic, vragen kunnen naar LSW.