Onderwerp: Leaseweb [easynet] storing en timeouts

Mathijs: correct

IT-Worx: het begon met een grote dDOS op 1 klant. Toen dit onder controle was, is deze echter verplaatst (meerdere malen) naar andere IP blokken te EasyNet. Ook de aanval an-sich werd groter, met als uiteindelijk gevolg dat de routers op Easynet volledig belast werden. Hierdoor gingen alle OSPF/BGP/etc sessies down en kregen we te maken met een zeer instabiel netwerk(deel). Probleem hierbij was dat wanneer alles weer min of meer terug kwam de dDOS er weer zo hard overheen kwam dat alles weer weg viel. Tevens is het probleem bij zoveel load, dat het uitvoeren van commando's soms niet of heel langzaam gaan. (* dit is allemaal onder voorbehoud. Ik heb de engineers hun werk laten doen en niet teveel naar details gevraagd op dit ogenblik).

Ik vernam zojuist wel dat het netwerk stabieler is op dit ogenblik.

RikkiLake: zullen we die discussie hierbuiten houden? Ik ken je geschiedenis en jij neem ik aan ook. Bashing heeft hier geen zin en zal zeker geen problemen oplossen. Ik hoop dat je begrijpt dat ook wij hier de dupe van zijn. Ik heb ook nog geen enkel excuus aangedragen (voor wat, dit is niet een human-error of een fout aan onze kant, maar simpelweg een criminele actie tegen ons netwerk).

Oorspronkelijk geplaatst door mathijsb

Oh, vandaar. Ik dat dat het easynet>eurovps was. Maar de opstelling is dus easynet>leaseweb>eurovps? Nooit geweten

Kun je vaak aan de owner van je ipadressen zien.

Oorspronkelijk geplaatst door Merlijn

Ik vernam zojuist wel dat het netwerk stabieler is op dit ogenblik.

Wij zijn hopelijk niet de enige die nog down zijn toch? Anders moet ik straks zelf nog naar Schiphol...

Tot ca. 22:40 uur kwam ik er nog doorheen met ongeveer 80% packet loss, maar sindsdien is er geen pakketje meer doorheen gekomen.

Keurige uitleg Merlijn! Top!

Hier is alles weer volledig terug. Rack locatie: 2A.

En bedankt voor de toelichting Merlijn !

Oorspronkelijk geplaatst door RikkiLake

Hier is nog steeds na 4 UUR downtime alles plat. Sorry hoor, maar het gaat er bij mij niet in dat er niks aan gedaan kan worden. Ik vind de hele organisatie bij Leaseweb uitermate slecht. Telefoon die niet wordt opgenomen, late reactie-tijd aan hun kant. Zeer onprofessioneel van zo'n grote partij.

Dus je hebt liever dat ze klanten aan de lijn gaan houden om te vertellen wat op de website staat dan dat ze werkelijk aan het probleem werken?

Alle respect voor de mensen bij Easynet / Lsw die hun best doen om deze problemen op te lossen. Echter een dDOS van deze omvang en die zo lang duurt is wel heel erg uitzonderlijk: dit heeft ruim 5 uur geduurd. Wat is er nu precies gebeurd? Lsw is een van de grootste colo's met 80 Gb/s aan bandbreedte, dat krijg je echt niet zomaar even vol. So what the f*ck happened???

Corrigeer mijn globale berekening cq theorie, maar waarschijnlijk was dit een dDOS met gekaapte pc's (zombies). Rond de tijd dat Nederland naar bed gaat en iedereen hun pc's uit zet was het ook weer afgelopen. Ik schat dat (voordat je de boel zo plat legt) er toch tussen de 600000 tot 1 M gekaapte pc's hierbij betrokken zijn geweest, dit kan echt niet van een paar duizend pc's zijn lijkt me zo. Hoe kan dit, terwijl vrijwel iedereen op XP SP2 zit cq op Vista? En....wat gebeurt er morgenavond om 18.25??

Zoals ik nu kan zien draait alles weer, zoals je verwachten mag

Het heeft naar mijn inziens wel wat te lang geduurd, maar helaas komen dit soort fratsen nog geregeld voor.

Ondanks de langdurige 'downtime' ben ik blij dat Leaseweb alles onder controlle wist te krijgen, ook al had het sneller gekund, maar dat is niet van belang.

Belangrijker is dat alles weer netjes draait.

Oorspronkelijk geplaatst door jdr

Alle respect voor de mensen bij Easynet / Lsw die hun best doen om deze problemen op te lossen. Echter een dDOS van deze omvang en die zo lang duurt is wel heel erg uitzonderlijk: dit heeft ruim 5 uur geduurd. Wat is er nu precies gebeurd? Lsw is een van de grootste colo's met 80 Gb/s aan bandbreedte, dat krijg je echt niet zomaar even vol. So what the f*ck happened???

Corrigeer mijn globale berekening cq theorie, maar waarschijnlijk was dit een dDOS met gekaapte pc's (zombies). Rond de tijd dat Nederland naar bed gaat en iedereen hun pc's uit zet was het ook weer afgelopen. Ik schat dat (voordat je de boel zo plat legt) er toch tussen de 600000 tot 1 M gekaapte pc's hierbij betrokken zijn geweest, dit kan echt niet van een paar duizend pc's zijn lijkt me zo. Hoe kan dit, terwijl vrijwel iedereen op XP SP2 zit cq op Vista? En....wat gebeurt er morgenavond om 18.25??

jdr, een maximale bandbreedte van 80Gb/s op locatie EasyNet betekend natuurlijk niet dat dit ook 80Gb/s dDoS verkeer kan weerstaan. Er zijn vele verschillende soorten dDoSsen, waarvan sommige met slechts 5 mbit traffic al een flinke blamage kunnen veroorzaken.
Bovendien bestaan er helaas nog steeds ondenkbaar grote botnets.

Zie ook: http://nl.wikipedia.org/wiki/Distrib...ial_of_Service

Oorspronkelijk geplaatst door Merlijn

RikkiLake: zullen we die discussie hierbuiten houden? Ik ken je geschiedenis en jij neem ik aan ook. Bashing heeft hier geen zin en zal zeker geen problemen oplossen. Ik hoop dat je begrijpt dat ook wij hier de dupe van zijn. Ik heb ook nog geen enkel excuus aangedragen (voor wat, dit is niet een human-error of een fout aan onze kant, maar simpelweg een criminele actie tegen ons netwerk).

Ik weet niet over welke geschiedenis je het hebt, en ik ben hier ook niet aan het bashen.

Oorspronkelijk geplaatst door Triloxigen

Dus je hebt liever dat ze klanten aan de lijn gaan houden om te vertellen wat op de website staat dan dat ze werkelijk aan het probleem werken?

Aangezien ze genoeg personeel hebben, lijkt met dan niet eens zo'n slecht idee.
Ik neem aan dat je niet 10 man op de router tegelijk laat werken.

Jullie kunnen dit niet even persoonlijk afhandelen?

Ook ik ben getroffen door deze laffe daad gisteren. Mijn hele telefoonverkeer lag plat! Wegens tijdgebrek geen tijd gehad om een backup te maken en deze op een andere server te zetten.
Ik hoop niet dat dit vanavond weer gaat gebeuren en dat Leaseweb eventueel standby staat. In ieder geval heb ik de nodige noodmaatregelen al getroffen.

Oorspronkelijk geplaatst door RikkiLake

Nee vertel, welke geschiedenis ? Gaan we persoonlijk worden ? Bel me maar even op, om uit te leggen waar je het over hebt. Telefoonnummer heb je wel zeker. Ik kijk er naar uit.

Hier ook slecht bereikbaar geweest, maar redelijk snel opgelost door de heren naar mijn idee.

Timmeh

Oorspronkelijk geplaatst door mathijsb

Ik heb een eurovps server lopen. Deze was de gehele avond ook onbereikbaar als gevolg van de storing bij easynet, niet leaseweb specifiek dus.

Je beseft dat EuroVPS op het leaseweb netwerk draait? Easynet heeft niets te maken met deze storing.

Probleem opgelost, verdere discussie kan eventueel in een ander topic, vragen kunnen naar LSW.