Onderwerp: Storing AMS-IX

Het viel mij net op dat ik mijn server in InterXion niet kan bereiken (LeaseWeb).

Nu kreeg ik ook net een mailtje van ProServe

Op dit moment is er een grote storing op het platform van de AMS-IX. Hierdoor is het mogelijk dat u problemen ondervind met het bereiken van ons netwerk. Zodra we meer weten, laten we dit weten.

Ter informatie

// Edit: Ik stond al op het punt om naar A'dam te rijden

http://www.ams-ix.net/technical/stats/

En de stats vliegen omlaag
Gisternacht om 6 uur was er ook al _iets_ aan de hand (misschien dat dat onderhoud was? dunno)

Stats klimmen gelukkig weer

Origineel geplaatst door MikeN
http://www.ams-ix.net/technical/stats/

En de stats vliegen omlaag
Gisternacht om 6 uur was er ook al _iets_ aan de hand (misschien dat dat onderhoud was? dunno)

Gisteren was geplanned (zie onder) vandaag overdag niet.

Problem Start: 20051206 06:00 CET
End (latest): 20051206 08:00 CET

SUMMARY: New core switch in production

UPDATE 20051206 07:30
The new RX16 core switch is in production as backup switch. We encountered some unexpected behaviour that we resolved, this has caused BGP flaps for several members. We need to extend the maintenance window until 08:00 to be able to verify correct behaviour of the RX16 as the active switch.

vanmiddag was er dus een ams-ix storing rond 14.00 uur? aangezien ik van 13.45 tot 14.05 uur enkel sites via nl-ix kon bereiken en niks via ams-ix. onder andere de volgende sites werkten niet:
google (.nl/.com)
ams-ix

wel bereikbaar:
-euroaccess.nl
-nl-ix.nl
-sidn.nl

leuke problemen dus

Nee, om 14:00 was alles koosjer..

ik was bezig op een server, in een keer verbinding weg en geen reactie meer op ping e.d. 20 seconden daarna deed hij het weer

Om 14.00 heb ik via Surfnet wel problemen gehad, mogelijk dat er toen dus ook iets was, maar of dat echt bij de AMS-IX lag...

Hmm, Bij LeaseWeb hebben ze momenteel alles over de transit (Telia) gegooid zie ik. AMS-IX.net is ook vanuit hier onbereikbaar..

Blijbkaar valt de nieuwe core switch toch niet zo goed?

Het lag dus niet aan mij
Had opeens enorme package loss

Due to large problems at the AMS-IX platform, all peers at the AMS-IX went down. This caused all traffic to be rerouted through our transits, causing some full links suddenly. We have applied some other routing policies to unload traffic. Some packetloss might occur during this AMS-IX outage.

We needed to shut/unshut the AMS-IX port before all AMS-IX peers came back after stabilisation of the AMS-IX platform. All problems should be gone now.

Boel lijkt weer over AMS-IX te lopen

Origineel geplaatst door PeterT
Boel lijkt weer over AMS-IX te lopen

Zo te zien wel ja, iemand anders nog last ergens van?

Code:

SUMMARY: AMS-IX platform instabilities have ceased

   UPDATE: 200507 18:25 CET -
       Investigations so far learned that a high cpu load situation on several switches in the platform caused loss of VSRP keep-alives between the core
switches; this caused the platform to become unstable.

       We are not yet clear on the actual cause of the high cpu load. We will schedule some lab work to further investigate this to find the root cause of
the issues.


   UPDATE: 20051207 17:15 CET - The platform has stabilized.

   BGP sessions should have been restored by now. We're still investigating the root cause of the issue. More info to follow later.

Op tc2 waren er ook 2 van ams-ix aan het rennen en bellen...