Onderwerp: Grote storing EVOswitch / Easynet / Telecity 2 Leaseweb netwerk

Wij zijn ook online, hopen dat het stabiel blijft.

Wij werden gebeld door Jeroen van lsw dit even ging uitleggen dat ze een storing hadden, haha ik zei dat ik die conclusie al getrokken had :-) Maar volgens hem kwam het allemaal goed... voorlopig draait het meeste hier weer, nog een enkele server die niet wil...

EDIT: alleen de servers in SBF zijn nog steeds down...

Oorspronkelijk geplaatst door adknoth

Wij werden gebeld door Jeroen van lsw dit even ging uitleggen dat ze een storing hadden, haha ik zei dat ik die conclusie al getrokken had :-) Maar volgens hem kwam het allemaal goed... voorlopig draait het meeste hier weer, nog een enkele server die niet wil...

EDIT: alleen de servers in SBF zijn nog steeds down...

En schaam jij je niet als je terugleest hoe je tekeer gegaan bent ?

Nee, ik ga nog wel eens erger tegen ze te keer aan de telefoon. De boel dient gewoon fatsoenlijk te functioneren. Andere partijen kunnen dit wel waarborgen dus moet lsw maar is wat beter hun best doen.

Het feit dat ze mij bellen verbaasd me ook eigenlijk niks ik heb onlangs een gesprek gehad daar omdat ze mij als klant willen behouden. Maar goed ik heb toen al aangegeven dat het vertrouwen ver te zoeken is en dit soort dingen doen er geen goed aan.

Maar we zijn weer iets nader tot elkaar gekomen dat was de positieve kant van het verhaal.

EDIT: als jij om de haverklap down bent om welke reden dan ook dan accepteren jou klanten dit toch ook niet? Die verwachten toch gewoon dat een dienst die ze afnemen functioneert?

@Rob: ik heb die vraag omtrent het 0 routen aan ze gesteld hoor en hierop krijg ik nog antwoord...

Oorspronkelijk geplaatst door adknoth

Nee, ik ga nog wel eens erger tegen ze te keer aan de telefoon. De boel dient gewoon fatsoenlijk te functioneren. Andere partijen kunnen dit wel waarborgen dus moet lsw maar is wat beter hun best doen.

Wat voor SLA heb jij op je verbinding zitten? Dit is de eerste echte downtime die wij dit jaar hebben, en deze maand staat (volgens de uptime monitor van WHT) op 99,956 wat ruim boven de SLA is die we hebben!

Oorspronkelijk geplaatst door Mikey

En schaam jij je niet als je terugleest hoe je tekeer gegaan bent ?

Mike, s.v.p. on-topic. Dit soort discussies horen niet in dit topic thuis. Dat geldt uiteraard voor iedereen.

hier is alles wel weer up, maar ik merk dat er nog wel enige vertraging is, in ping wel te verstaan.

De pingtijden waren altijd 8ms constant en zijn nu 35-40ms. Op zich voor de meeste toepassingen (webhosting e.d.) geen drama, maar met gameservers en veel buitenlandse spelers (die al een hoge ping hebben) niet echt prettig.

Bijvoorbeeld:
1 lokaal
2 8 ms 8 ms 8 ms 195.190.241.2
3 8 ms 13 ms 8 ms iawxsrt-dc2-bb21-ge-5-2-0.72.wxs.nl [213.75.1.9]
4 17 ms 8 ms 8 ms iawxsrt-dc2-bb21-ge-5-2-0.72.wxs.nl [213.75.1.9]
5 9 ms 9 ms 9 ms 20ge-chnl.amsix.tc2.leaseweb.net [195.69.144.215]
6 35 ms 35 ms 38 ms te5-2.sr1.evo.leaseweb.net [85.17.129.254]
7 40 ms 40 ms 40 ms spawned-by.projectfrag.com [85.17.177.9]

Vanuit een server in globalswitch merk ik hetzelfde:

--- 85.17.177.9 ping statistics ---
111 packets transmitted, 111 received, 0% packet loss, time 109982ms
rtt min/avg/max/mdev = 22.476/30.792/46.933/2.864 ms

Heeft iemand anders hetzelfde probleem?

MoehMan

Hier lijkt alles weer normaal te zijn. Latency zo'n 8ms zowel naar EVO als Easynet vanaf de DSL verbinding hier. En Leaseweb meldt op noc.leaseweb.com dat ze met nog wat meer informatie komen. Het is volgens mij best een grote DDoS geweest ;-). Misschien moeten we maar komen met een DDoS schaal, net zoals bij stormen en tornado's. Van klasse 1: latency verhoogt met 10ms tot klasse 5: geen enkel pakket komt nog aan en de CPU in de routers van de ISP smelten :-)

Nou hier blijf ik monitor berichten binnen krijgen, de ping tijden varieren van 20ms tot ruim 600ms op dit moment. Dus het is nog niet helemaal over gewaaid...

Maar ik heb inmiddels vernomen dat er binnen nu en een aantal maanden een systeempje komt wat deze aanvallen gaat afvangen om het zo maar te omschrijven.

Pingen naar 85.17.177.9 met 32 bytes aan gegevens:
Antwoord van 85.17.177.9: bytes=32 tijd=20 ms TTL=118
Antwoord van 85.17.177.9: bytes=32 tijd=16 ms TTL=118
Antwoord van 85.17.177.9: bytes=32 tijd=18 ms TTL=118
Antwoord van 85.17.177.9: bytes=32 tijd=21 ms TTL=118

Normaal gesproken heb ik 8 ms

Traceroute vanaf hier:
1 2 ms 1 ms 1 ms 192.168.10.1
2 5 ms 7 ms 5 ms 10.193.192.1
3 7 ms 7 ms 11 ms csw1-vlan201.dbsch1.nb.home.nl [213.51.152.193]

4 9 ms 9 ms 14 ms csw2-vlan200.dbsch1.nb.home.nl [213.51.152.57]
5 7 ms 7 ms 7 ms tb-rc0001-cr101-ae5-0.core.as9143.net [213.51.15
8.94]
6 9 ms 9 ms 9 ms bb1-ae1-0.amsix-nikhef.home.nl [213.51.158.18]
7 9 ms 9 ms 10 ms link-to-athome.openpeering.nl [213.51.158.134]
8 9 ms 10 ms 10 ms openpeering.private.leaseweb.net [82.150.153.62]

9 36 ms 19 ms 17 ms te3-4.peering.evo.leaseweb.net [85.17.100.209]
10 18 ms 19 ms 17 ms te4-4.sr1.evo.leaseweb.net [85.17.100.214]
11 18 ms 19 ms 19 ms spawned-by.projectfrag.com [85.17.177.9]

[UPDATE 17:55]

As we were approaching the final solution of he problem, our netwerk experienced another stress attack. We are facing a more complex set of issues now. Although large parts of our network seems stable, we see packetloss and high latency in some parts of our network. Again, we apologize and keep you updated on our progress on this site.

bron: http://89.238.146.98/status.php?i=221

Afgezien dat het wel eerlijk is, maak ik me wel zorgen indien een "professionele" organisatie zoiets roept.

Het lijkt mij dat een partij als Ocom (het moederbedrijf van LeaseWeb, EvoSwitch en FiberRing) toch wel telefoon nummers van hun peering/transit leveranciers heeft en even verzoekt om back te tracen en bepaald verkeer richting hun te null-routen.

Overigens laat grafiek een DIP zien.
http://89.238.146.98/alltraffic.png

Oorspronkelijk geplaatst door pdu

bron: http://89.238.146.98/status.php?i=221

Afgezien dat het wel eerlijk is, maak ik me wel zorgen indien een "professionele" organisatie zoiets roept.

Het lijkt mij dat een partij als Ocom (het moederbedrijf van LeaseWeb, EvoSwitch en FiberRing) toch wel telefoon nummers van hun peering/transit leveranciers heeft en even verzoekt om back te tracen en bepaald verkeer richting hun te null-routen.

Overigens laat grafiek een DIP zien.
http://89.238.146.98/alltraffic.png

De traffic van gisteren laat inderdaad een piek zien, maar dat voegt weinig toe aan dit verhaal

[UPDATE 19:10]

We have been closely monitoring the network for some hours now and everything is stable again. We are still investigating the root cause of today's problems. We will keep monitoring the network closely for the next hours. We will give an update as soon as more information is available.

Oorspronkelijk geplaatst door Ijsbox

[UPDATE 19:10]

We have been closely monitoring the network for some hours now and everything is stable again. We are still investigating the root cause of today's problems. We will keep monitoring the network closely for the next hours. We will give an update as soon as more information is available.

Tsja, ik wil ze niet teleurstellen, maar mijn ping is nog steeds 'relatief hoog'*.

* Tsja, 40 milliseconden naar amsterdam, waar hebben we het eigenlijk over he?

MoehMan

EDIT: en 1% packetloss (vanaf verschillende locaties).

Mijn server in SBP is nog steeds offline. Ongeduldig als ik was heb ik al een reboot gegeven via APC maar helaas geen resultaat.
Ik begin me nu sterk af te vragen of dit nog met de storing te maken heeft. Kan natuurlijk zijn dat de server toevallig vandaag de geest heeft gegeven.

Wanneer ik overigens de hele range ping zijn daar relatief veel servers offline