Onderwerp: AMS-IX down?

dipje in beeld

Je ziet dat niet gebeuren toch, correct me if im wrong hoor, maar je ziet bij NL-IX en OpenPeering een dip onstaan die weer terug komt.
Dus niet een dip omdat alles weer over de amsix gaat, maar eerder de routers die overbelast zijn door de grote aantal bgp routes aanpassingen waardoor ze helemaal geen verkeer doorzetten.

Alles was hier ook inderdaad even plat, schrok eerst even dat het eigen servers waren maar al gauw kwam ik tot de conclusie dat het de AMS-IX was. Wel ziek, dat het uiteindelijk toch wel ruim een kwartier duurde voordat grotendeels alles weer functioneerde. Wat een afhankelijkheid dan eigenlijk van één knooppunt zeg

Ik zag het volgende voorbij komen:

Today Wednesday 13/05/2015 at 12:20 UTC+2 an installation engineer working on the PE under maintenance in EQUINIX AM3, while testing one of the newly installed 100GE modules, accidentally placed a loop on the ISP peering VLAN.

DETAILS:

The loop caused a high CPU on all backbone and customer modules resulting in many BGP sessions dropping.
The incident lasted 10 minutes.
BGP sessions are restoring.

Oorspronkelijk geplaatst door Smashmint

Ik zag het volgende voorbij komen:

Oeps... Foutje...

-nvm-

Direct populairste man in Nederland haha. Wel apart dat ze nieuwe interfaces eerst testen op een productie VLAN en niet in een test omgeving, indien mogelijk. Zo zie je maar, foutje zit in een klein hoekje:P

Foutje bedankt!

Ook weer iets dat eigenlijk gewoon niet voor moet kunnen komen. Falen in de (blijkbaar schijn-)redundantie.

Oorspronkelijk geplaatst door Rik

Ook weer iets dat eigenlijk gewoon niet voor moet kunnen komen. Falen in de (blijkbaar schijn-)redundantie.

Er is helemaal geen schijn redundantie. AMS-IX is hardstikke redundant, alleen als mensen configfouten maken heb je niets aan die redundantie. Waar mensen werken worden fouten gemaakt.

Mgerritsen, Als je een nieuwe AMS-IX poort afneemt word die altijd eerst in een quarantaine vlan geplaatst, niet in productie dus. Zal hier dus gewoon echt ergens een fout gemaakt zijn.

Dus als je geen 2de persoon hebt die de eerste controleert of ie het goed gedaan heeft... dan heb je dus geen redundantie

Ach van die lullige foutjes maakt iedereen wel eens.
Alleen dit heeft een vrij grote impact omdat ineens alles om gerouteerd/herberekend moet worden.

Oorspronkelijk geplaatst door Rik

Ook weer iets dat eigenlijk gewoon niet voor moet kunnen komen. Falen in de (blijkbaar schijn-)redundantie.

Ik ken van die managers die ook denken dat ze er wat snappen door bij een storing te roepen "het moet redundant".
De storingen die uiteindelijk merkbaar worden liggen niet zo vaak aan een gebrek aan redundantie.

Dus "gewoon" menselijk falen....

Oorspronkelijk geplaatst door Paulewk

Er is helemaal geen schijn redundantie. AMS-IX is hardstikke redundant, alleen als mensen configfouten maken heb je niets aan die redundantie. Waar mensen werken worden fouten gemaakt.

Mgerritsen, Als je een nieuwe AMS-IX poort afneemt word die altijd eerst in een quarantaine vlan geplaatst, niet in productie dus. Zal hier dus gewoon echt ergens een fout gemaakt zijn.

Daarom dien je het risico op 'human-errors' ook uit te sluiten, of het geheel dusdanig in te richten dat een human-error geen effect kan hebben. Dit is altijd zo'n slecht excuus.