Onderwerp: RedUnix down (again)?

fred gesproken naar zijn zegge is het een d-dos attack die de boel heeft plat gelegt in zoverre durf ik niks te bevestigen aangezien al mijn trace routes naar ip-phone of redunix in de aorta blijven hangen....

Oorspronkelijk geplaatst door robvanderpol

inderdaad, net fred aan de lijn gehad. Blijkbaar was er iets gehackt daardoor het dataverkeer enorm toegenomen is. Echter vertelde fred mij dat het alweer onder controle was aan die kant, en dat nu enkel de buffers weer leeg moesten lopen. Dit zou minder als 15 minuten moeten duren (5 min geleden)

15 minuten zijn wel voorbij nu. Ben benieuwd hoe lang dit weer gaat duren.

fred nog maals gesproken zijn porten zijn bij inter route dicht gezet heeft een storings melding aangegeven dus gaat nog even duren

Stijlle hammer trouwens wil dat truukje ook is weten nog nooit gehoord of meegemaakt op deze schaal....

Is het alleen de kubus (Rotterdam) waar problemen zijn? Iemand die in Grafix zit en ook downtime heeft?

Onze server staat in de kubus en is ondertussen weer online! gelukkig!

Blijkbaar kon het netwerk van interoute het ook niet meer aan, e.e.a. schijnt nu via Frankfurt te lopen.

Yep, alles back zo te zien.

Meer als 1mil packets per seconden. We zijn nog bezig een aantal racks online te brengen. Het grootste deel is weer goed bereikbaar!

Hallo allemaal,

Ja, dit was een aardige binnenkomende service attack.

Terwijl wij bezig waren om de poorten te sluiten van naar schatting 20 servers, ging er uiteindelijk bij interoute - mogelijk gecontroleerd - het e.e.a. onderuit.

Dat er zoveel servers tegelijk werden aangevallen lijkt op een georganiseerde bende... Ik vind het wel verdacht... Op elke poort die ik sloot liep dik 60 mbps...

Als gevolg daarvan vormde de BGP router de bottleneck in het geheel. De switches liepen gewoon door...

Toen ik merkte dat het er zoveel waren, ben ik naar de betrokken switch gerend en heb ik de blades waarop de attack zich concentreerde er onmiddellijk uitgetrokken.

Inmiddels was dus bij Interoute ook de boel door de knieen gezakt...

Via telnet kon ik niet meer bij de BGP router. Toen ik via de console op de BGP router keek, zag ik dat ik dat de BGP session was verdwenen. Ik heb toen gelijk een ticket bij Interoute aangemaakt.

Op dat moment ben ik gaan kloppen om het verkeer via onze BGP koppeling in Frankfurt om te leiden.

Tegelijk heb ik ongeveer elke 5 minuten Interoute gebeld. Uiteindelijk hebben ze de poort weer opgebracht toen ik hen had verzekerd dat de service attack beslist was uitgeroeid.

Ik heb hen om een rapport gevraagd.

Maatregelen:

1. Wij gaan de redundancy uitbreiden. Ons oudste AS loopt wel via NL en DE. Wij gaan dus de routes van de andere AS ook via Frankfurt adverteren;
2. Wij hebben de poorten van de switches nu allemaal nog beter tegen dit soort service attacks geconfigureerd;
3. In de beide 6509's gaan firewall blades.

Wij zijn uiteraard op zoek naar de oorsprong van deze attack... Daarbij onderzoeken we ook externe logs..

Sorry dat ik het moet zeggen fred, maar deze berichten zou je dus beter naar je klanten rechtstreeks meedelen, het lijkt hier wel het redunix support forum te worden. Maar nu moet je me toch ook eens een paar dingen uitleggen met je kick-ass netwerk. Hoe kan dat nu onderuit gaan met 1.2Gbit (20x 60mbps) terwijl je volgens je marketing praatjes over een uitgebreid 10Gbit netwerk beschikt. Naast het feit om nog maar te zwijgen over redundantie en meerdere transit providers. Als interroute de poort toe draaid mag dat toch geen probleem geven, dan gaat alles toch lekker via een andere transit.

Ik zal het je uitleggen...

Kom gerust even kijken als je dat wil. je hoeft me namelijk niet op mijn woord te geloven...

Ik zit met 1 ding wat door alle commotie nog niet was geregeld: verhuizing van diverse MPLS routers en fiber patches.

Ik ben ooit in de kubus gekomen in 2002.

Begonnen in ruimte 4.05 van 100 m2. Voor die ruimte heb ik infra aangelegd en is er een STM-16 node geplaatst door Colt direct op het LDN van hen.

Daarna ben ik in 2007 begonnen aan de ruimte ernaast, in dit geval 4.03 en 4.04. Infra verplaatst naar die ruimte die 300 m2 is.

Vervolgens hebben we de ruimte van Infopact op 6.01 overgenomen. Dit is zo'n beetje het oudste DC in het pand, gebouwd in 2001. Vele nodes staan hier en er ligt fiber naar iedereen in het gebouw. Ik tel een stuk of 17 providers.

Alle huidige verbindingen vanaf de 4e etage gaan via de carrier room van Tele-2. Ooit wel eens geprobeerd een cross connect aan te vragen bij die mannen?

Ik wens je veel suc6...

Wij hebben er via T2 een aantal liggen. Ook zijn er een paar die nu dat het netwerk van RedUnix feitelijk is omgebouwd en omgenummerd vrij gekomen. Die moeten worden omgepatched.

Daarnaast hebben we twee MDF's in de Infopact ruimte die direct bij Interoute uitkomen. Deze patches, die nu dus vanaf de carrier room van T2 naar de 4e etage lopen, zijn tot op heden nog niet omgezet.

Natuurlijk zat ik niet te wachten op de problemen van de afgelopen weken, maar had ik me liever geconcentreerd op het uitvoeren van aanleg nieuwe fiber cq cross connects.

Als gevolg daarvan staat mijn core aggregatie switch waaraan ook de 10G naar Frankfurt hangt nu nog in een ketting tussen de 4e etage, 7e etage en de 6e etage en niet op de centrale positie tussen de overige switches.

Voor dit verhaal hoef je dus geen netwerk architect te zijn, maar iemand die wat minder hard lopende organisaties even op de juiste plek weet te kietelen.

En voordat je weer verder kritiek gaat uiten, de beste stuurlui staan natuurlijk altijd aan de wal...

Oorspronkelijk geplaatst door The-BosS

Hoe kan dat nu onderuit gaan met 1.2Gbit (20x 60mbps) terwijl je volgens je marketing praatjes over een uitgebreid 10Gbit netwerk beschikt. Naast het feit om nog maar te zwijgen over redundantie en meerdere transit providers. Als interroute de poort toe draaid mag dat toch geen probleem geven, dan gaat alles toch lekker via een andere transit.

Ik ga niet in op de marketing praatjes maar puur op de techniek, een ddos van 1.2 gigabit kan een cisco 6509 wel op zijn knieen krijgen, als je ip's offline haalt waar een ddos heen gaat, gaat dit door een bepaalde processor en heeft de 6509 hier weinig moeite mee, maar ga je alle hosts offline halen (wat bij een verkeerde config niet kan!) dan gaat de cisco staan antwoorden voor al die hosts die offline zijn. (icmp host down iets kan even niet op de naam komen).

Het beste is om niet een firewall kaart te halen (die zuigen best wel en helpen er niet tegen), maar een discard te maken op unreachable hosts ipv een reply te geven. Dan kan je elke host die een attack heeft gewoon eruit trekken en alle gemene pakketjes vliegen in linux taal zeggende naar /dev/null. Ik weet in ieder geval dat je ook met een REJECT rule ipv DROP/DISCARD met een goede ddos (1.2 gigabit en heeeeeeeeel veel pps), je iedere machine / router dood kan krijgen.

Dus hoe groot je netwerk ook is, en vliegt 1 provider eruit dan komt het wel via de andere binnen, dus blijf je het houden, en natuurlijk je configuratie op zulk soort attacks heeft een grote invloed. Dus bij een volgende attack en je kan geen pakketen droppen, dan gewoon de hosts online houden. Dat kan de boel vertragen maar het gaat iig niet voor iedereen stuk.

Oorspronkelijk geplaatst door The-BosS

Sorry dat ik het moet zeggen fred, maar deze berichten zou je dus beter naar je klanten rechtstreeks meedelen, het lijkt hier wel het redunix support forum te worden.

Misschien zijn daar de middelen nog niet voor? Vroeger regelde Sam dit via een of ander zelf geschreven systeem

Waarom zet je porten dicht bij zoiets? Dan is het al snel afgelopen..

Vind het hoe dan ook wel vreemd dat Interoute je gewoon afsluit, dat heb ik nog nooit eerder mee gemaakt bij een carrier...

Sterkte in ieder geval!

Edit:// zie dat Dennis me reeds voor was..

Oorspronkelijk geplaatst door DennisP

Het beste is om niet een firewall kaart te halen (die zuigen best wel en helpen er niet tegen),

Ligt eraan wat de man met een Firewall kaart zou bedoelen. Ik neem aan dat hij het hier over Cisco GUARD heeft. Dat is toch best aardig speeldgoed http://www.cisco.com/en/US/products/ps5888/
Zo niet, dan helpt het niet tegen een DDOS. Hij zou eventueel nog Riorey of Intruguard kunnen overwegen om DDOS te filteren.
Overigens werkt de server uitzetten niet, ook de switch disconnecten werkt niet. De DDOS komt net zo goed je netwerk binnen. Ik zou starten met een Nullroute.
Het is ook best van belang welke lijnkaarten je gebruikt in je Cisco 6509.