Onderwerp: Websites Telfort en Rijksoverheid offline door storing bij Prolocation - Update

Oorspronkelijk geplaatst door systemdeveloper

Nou ja, ik heb geen idee hoe het daar ingericht is, dus ik kan van alles roepen. Maar ze hebben het er zelf over dat ze meer capaciteit hebben dan de wasstraat. Als je de tent toch plat hebt kun je wel veel kanten op natuurlijk. Zelfs al bekijk je maar 1% van wat binnenkomt, dan zul je daar alsnog een piek van de evil packets op tegenkomen.
Maar feit is dat 'iets vergelijkbaar met een xtree attack' neerkomt op een zooi non-rfc packets en dat zie je in de logs, 1 minuut voordat je router en je firewalls op hun bek gaan. Dus als je tent toch plat ligt... trek die 10g bundels eruit en kijk in je logs, of in de logs van het aftapmachientje van de overheid.

Het verhaal rammelt aan alle kanten. Aan de ene kant roepen ze meer capaciteit dan de wasstraat te hebben en aan de andere kant hebben ze geen logs meer. Lijkt me nogal een domme actie en mag verwachten dat een partij met zoveel capaciteit toch ook minimaal over een simpele sFlow/Netflow oplossing beschikt. Dan was zelfs met terugwerkende kracht een maand later nog terug te halen wat er precies over de links ging.

Oorspronkelijk geplaatst door systemdeveloper

Nou ja, ik heb geen idee hoe het daar ingericht is, dus ik kan van alles roepen. Maar ze hebben het er zelf over dat ze meer capaciteit hebben dan de wasstraat. Als je de tent toch plat hebt kun je wel veel kanten op natuurlijk. Zelfs al bekijk je maar 1% van wat binnenkomt, dan zul je daar alsnog een piek van de evil packets op tegenkomen.
Maar feit is dat 'iets vergelijkbaar met een xtree attack' neerkomt op een zooi non-rfc packets en dat zie je in de logs, 1 minuut voordat je router en je firewalls op hun bek gaan. Dus als je tent toch plat ligt... trek die 10g bundels eruit en kijk in je logs, of in de logs van het aftapmachientje van de overheid.

Ik ken de setup van prolo ook niet in detail, (wel dat ze _klanten_ 10G leveren) maar heb wel wat ervaring met hoe 'men' service provider netwerken bouwt .
Aan het symptoom van grote routing problemen is te zien dat de border routers problemen hadden.
Als dan toevallig de interfaces ervan niet ook bomvol zitten, kan ik heel goed begrijpen dat je zoekt naar een netwerk _storing_, en niet naar een zeker percentage 'raar' verkeer wat daar misschien mee te maken zou kunnen hebben.
Er is altijd wel ruis.

Je ziet (gelukkig) niks in routerlogs van wat er aan L3 (transit) verkeer nu wel of voldoet aan een TCP rfc. Dat boeit niet, voor een router.
Dan zou je router meteen omvallen.

Een tap-infrastructuur zal absoluut _achter_ de routers staan, en is ingericht om een x-aantal individuele aansluitingen te tappen.
Niet (juist niet) om ongericht bergen verkeer langs te duwen en te vissen naar spelden in de hooiberg.

Waarschijnlijk is 'dan maar eruit trekken' waar het later in de middag op neer kwam qua diagnose, en is dat ook waarom de kleine prefixen geannounced werden.

Oorspronkelijk geplaatst door CharlieRoot

Het verhaal rammelt aan alle kanten. Aan de ene kant roepen ze meer capaciteit dan de wasstraat te hebben en aan de andere kant hebben ze geen logs meer. Lijkt me nogal een domme actie en mag verwachten dat een partij met zoveel capaciteit toch ook minimaal over een simpele sFlow/Netflow oplossing beschikt. Dan was zelfs met terugwerkende kracht een maand later nog terug te halen wat er precies over de links ging.

Het zag er aardig naar uit dat het de border routers waren die problemen hadden. Dat zijn nu juist de plekken waar je netflow (vaak sampled...) data van laat exporteren.
Ik gok dat er wel iets meer beschikbaar is dan 'niets' , maar misschien geen captures van volledige packets.

Misschien ook dat netflow even uitgezet was op de routers als deel van probleem diagnose/workaround .

Hoe je het ook wendt of keert: er wordt gesteld dat de aanval specifiek tegen de Rijksoverheid gericht was. Als dat het geval is, zou je toch denken dat het probleem opgelost had kunnen worden door het betreffende subnet plat te leggen, zodat in ieder geval de rest gewoon online kan blijven.

Het zou natuurlijk kunnen dat de infrastructuur van Prolocation zelf aangevallen werd. Maar mocht daar sprake van zijn, dan vraag ik me toch af hoe ze weten dat de aanval tegen de Rijksoverheid gericht was.

Wel weer een reden om niet publiek je werkzaamheden te broadcasten op twitter. Het is natuurlijk een super moment om te gaan DDos'sen als iemand werkzaamheden aan de glasvezel infra aan het doen is ;-)

Je kan tegenwoordig niet paranoide genoeg zijn... ben wel benieuwd of er nog meer informatie naar buiten gaat komen, kunnen we allemaal van leren.