Onderwerp: Linkup, Colinks, Ecatel Down ?

Is het zo dat Linkup, Colinks, Ecatel Down is ?

Roy

Ja dat is zo.

Mooi sjitt !,

al een idee wannneer weer online ?

Nog even geduld, met ong 10 minuten moet het weer werken.

Iqarus is ook plat trouwens ;p

Je vergeet Iqarus in het rijtje.

Blij dat ik backup voor de streams heb...

Is dat niet allemaal in feite het zelfde netwerk of hoe zit dat

Oorspronkelijk geplaatst door Thijssss

Is dat niet allemaal in feite het zelfde netwerk of hoe zit dat

Mja, volgens mij is het, het zelfde bedrijf. Het is weer up volgens mij

Alles is weer online Dank u.

Oorspronkelijk geplaatst door Thijssss

Is dat niet allemaal in feite het zelfde netwerk of hoe zit dat

Gebruik even de zoekfunctie hier op wht

't is allemaal hetzelfde, het ene had nogal een slechte naam dus gaan ze verder met een andere naam

wat was by the way de reden van de downtime? uur netwerk downtime is niet zomaar iets dacht ik zo

De exacte oorzaak komt nog.

Het netwerk moest overschakelen naar de andere router, dit is echter door een defect mislukt en op die manier ging alles offline.

Voordat je zoiets door hebt ben je toch al snel een paar minuten verder, dan naar het datacenter (pakweg 45 - 60 minuten reistijd) om het uit te zoeken (20 minuten) en dan oplossen (20 minuten). Dan is de downtime vrij beperkt geweest.

Telefonisch was er steeds iemand aan de lijn te krijgen, dus dan is het een kwestie van afwachten totdat het weer ging werken.

Dank u voor de info.

Geachte Klant,

Afgelopen avond hebben wij te maken gehad met een netwerkstoring, dit terwijl ons netwerk geheel redundant uitgevoerd is.

Om een nog onbekende reden is de routing engine van onze core-router in Amsterdam gecrasht, de router bevat 2 routing engines en bij een eventuele crash hoort de 2e routing engine de routing op te vangen. Dit was dus niet gebeurd, echter was de routing engine intern wel pingbaar maar met veel packetloss.

De reden waarom de 2e routing engine het netwerk niet over heeft genomen is voor ons nog onbekend. We hebben contact opgenomen met Juniper om duidelijkheid te krijgen over dit probleem en dit in de toekomst te voorkomen. Omdat de 2e routing engine intern wel bereikbaar was heeft onze fysiek redundante router het verkeer niet overgenomen zodat de klanten met een VRRP configuratie in ieder geval wel online bleven. Beide routers bevinden zich op verschillende locaties in Amsterdam waardoor het oplossen van het probleem iets langer heeft geduurd dan verwacht.

Wat gaan we doen om dit probleem te voorkomen in de toekomst, duidelijk dat een gebeurtenis zoals deze afgelopen avond nooit meer mag voorkomen.

1) De Junipers worden op dit moment beheerd via DSL lijnen, dit zodat onze technici toch bij de routing engines kunnen op het moment dat deze offline mochten zijn. Wij zullen dit beheer uitbreiden door iedere juniper op 2 verschillende APC switches te zetten. Dit houd in dat wanneer beide routing engines zouden crashen de stroom fysiek van beide voedingen van de routers afgehaald kan worden. Zo hoeft er bij eventuele downtimes niemand gehaast naar de POP en kan alles remote opgelost worden. De routers zitten nu ook op APC apparatuur alleen is deze voor extra redundantie bij stroomuitval.

2) Desondanks onze bereikbaarheid tijdens de storing voldoende was hebben wij besloten deze toch een klein beetje te optimaliseren. Dit doen wij door iedere klant individueel aan te schrijven en te vragen voor zijn/haar GSM nummer. Bij eventuele storingen krijgt iedere klant automatisch een SMS van ons monitoring systeem gevolgd door een SMS bericht van onszelf met daarin beschreven wat het eventuele probleem kan zijn.

3) Op het geplande onderhoud, dit in de nacht van 13 op 14 September waarvan klanten reeds enkele dagen geleden een e-mail hebben ontvangen zullen wij de redundante configuratie uitgebreid testen.

4) Onze huidige NL-IX verbinding zal geconfigureerd worden op een aparte router in plaats van een core-router. Dit doen wij omdat deze router meerdere peerings geconfigureerd heeft en met routers praat van andere ISPs. Hier zit een risico aanvast omdat wanneer een andere partij op de NL-IX een peer heeft geconfigureerd en deze niet geconfigureerd staat op onze router onze router dit in de logfiles zet en dat steeds herhaalt. Wat bij eventuele ‘software bugs’ kan lijden toch het crashen van de router. Ook de andere Internet Exchanges welke wij ‘zeer binnenkort’ gaan aansluiten zullen op een aparte router geconfigureerd worden. Bij uitval van deze router zal het netwerk gewoon probleemloos door kunnen draaien over een transit verbinding.

Via deze weg bieden wij onze welgemeende excuses aan ieder die hinder heeft ondervonden van deze storing.

Klanten zullen dit bericht in een officiele e-mail ontvangen bij de voor ons bekende adressen.

Met vriendelijke groet,
IQARUS NETWORKS

mooi en duidelijk report Reinier.