Bekijk Volledige Versie : Storing GrafiX DC
Boel weer plat.
2 per3-nikhef.nedzone.nl (77.243.237.38) 3.559 ms 3.534 ms 3.539 ms
3 * * grafix.telecity2.nl-ix.net (193.239.116.70) 481.940 ms !N
4 * * *
5 * * *
Er is wederom iets mis binnen het netwerk.. We zijn dit met man en macht aan het uitzoeken, zeer waarschijnlijk heeft het te maken met de eerdere storing.
Veel success met oplossen
Alamrbellen rinkelden hier ook alweer.
Succes.
MvR-servers
29/07/08, 00:24
ja, had de wekker gezet op 3 uur zodat ik kon kijken of dat de overschakeling goed verliep alleen werd al eerder gebeld.
Het is even rustig afwachten. Vannacht zal er ook nog gewerkt worden aan de verbindingen. Ze zijn er druk mee bezig.
Het heeft ook geen enkele zin om een topic te openen, zie het vorige topic voor meer informatie en houd er rekening mee dat er vanavond en vannacht nog gewerkt zal worden om het probleem definitief te verhelpen.
Gelukkig wat later op de avond, dat scheelt klachten.
ja, had de wekker gezet op 3 uur zodat ik kon kijken of dat de overschakeling goed verliep alleen werd al eerder gebeld.
Het heeft geen zin om wakker te blijven, de engineers weten uiteraard zelf of er iets niet online komt en zitten tijdens onderhoud niet te wachten op telefoontjes of E-mails. Je hoeft dan ook niet de wekker te zetten, want vannacht zal het een aantal keer gaan swappen en flappen (net als vanavond).
Morgenochtend _voor_ 07:00 draait alles weer. Vannacht zal in iedergeval grondig worden gekeken naar het probleem en of het in de toekomst kan worden voorkomen.
MvR-servers
29/07/08, 00:30
Bedankt Technotop voor de snelle updates. Denk je dat alles zometeen of straks nog online komt of laten jullie alles de hele nacht offline om het probleem grondig te onderzoeken?
Het zal weer online komen, we zijn druk bezig naar oorzaken te zoeken en het zo spoedig mogelijk op te lossen
Het heeft geen zin om wakker te blijven, de engineers weten uiteraard zelf of er iets niet online komt en zitten tijdens onderhoud niet te wachten op telefoontjes of E-mails. Je hoeft dan ook niet de wekker te zetten, want vannacht zal het een aantal keer gaan swappen en flappen (net als vanavond).
Mag hij zijn eigen klanten wel op de hoogte brengen en daarvoor wakker blijven? Niet meteen van het negatieve uitgaan.......
Het heeft ook geen enkele zin om een topic te openen.Handig om op de hoogte te blijven toch?
Succes @ Marco!
MvR-servers
29/07/08, 00:34
Klopt, vond Technotop ook een beetje negatief reageren, mischien omdat hij het zo druk heeft ;)
Mag hij zijn eigen klanten wel op de hoogte brengen en daarvoor wakker blijven? Niet meteen van het negatieve uitgaan.......
Handig om op de hoogte te blijven toch?
Succes @ Marco!
Er is vanavond aangekondigd dat er spoedonderhoud zal worden gepleegd. Het is dan ook onnodig om wakker te blijven en de status door te geven, dit omdat het onderhoud misschien langer kan duren dan gepland.
Morgen is het weer een normale werkdag, het is dan uiteraard niet verstandig om wakker te blijven, terwijl de uitkomst al vast staat en dat is "de lijnen zullen vannacht meerdere malen swappen en flappen, waardoor onderbrekingen ontstaan."
Dat kan je nu al doormailen naar je klanten, waardoor je niet wakker hoeft te blijven.
Excuses voor de negatieve toon, maar dat komt een beetje door de opening van een nieuw topic terwijl het voor iedereen duidelijk is wat er gaande is. (dus vanavond en vannacht zal de verbinding mogelijk meerdere keren onbereikbaar zijn).
MvR-servers
29/07/08, 00:37
ja, heb het overal al vermeld dus ga zo ook naar bed, er staat morgen weer een werkdag voor de boeg
Technotop en Grafix toch bedankt voor de updates, en hopelijk draait morgen alles weer naar behoren
Er is vanavond aangekondigd dat er spoedonderhoud zal worden gepleegd. Het is dan ook onnodig om wakker te blijven en de status door te geven, dit omdat het onderhoud misschien langer kan duren dan gepland.
Morgen is het weer een normale werkdag, het is dan uiteraard niet verstandig om wakker te blijven, terwijl de uitkomst al vast staat en dat is "de lijnen zullen vannacht meerdere malen swappen en flappen, waardoor onderbrekingen ontstaan."
Dat kan je nu al doormailen naar je klanten, waardoor je niet wakker hoeft te blijven.
Excuses voor de negatieve toon, maar dat komt een beetje door de opening van een nieuw topic terwijl het voor iedereen duidelijk is wat er gaande is. (dus vanavond en vannacht zal de verbinding mogelijk meerdere keren onbereikbaar zijn).
Mwa, ben ik het niet direct mee eens. Marco zei net: probleem is opgelost, vannacht om 03:00 uur gaan we de lijn weer activeren en draait alles weer op volledige capaciteit. Ik ga er niet van uit dat de verbinding er dan direct daarna weer uit knalt: ik heb in de tussentijd ook weer contact opgenomen omdat ik niet wist wat er gaande was. Het is dus fijn dat er een topic kwam weer - dat open bleef - zodat de status gevolgd kon worden. Niet iedereen zit er zo direct op net als jij en weet van minuut tot minuut de status. Voor mij is het allemaal maar gissen wat er nu weer aan de hand is...
Er zijn wat issue's met wat access switches, ik laat deze rebooten, dat moet het een en ander op laten lossen. Maar dit gaat door middel van een ticket bij Telecity, dus even geduld, we zijn er mee bezig..
ccchosting
29/07/08, 00:47
edit: knullige opmerking verwijderd door mij zelf, excuses
Dit topic moet voorlopig even open blijven.
We zijn nog steeds druk bezig ( technotop, caveo, grafix ea. ) om ervoor te zorgen dat het allemaal weer zsm. stabiel draait.
De huidige situatie heeft mogelijk te maken met de eerdere Eurofiber storing, maar hier kan nog niets concreets over gemeld worden.
We moeten nog even afwachten voordat we oorzaken weten en conclusies kunnen trekken, sorry.
Marco
MvR-servers
29/07/08, 00:49
Mwa, ben ik het niet direct mee eens. Marco zei net: probleem is opgelost, vannacht om 03:00 uur gaan we de lijn weer activeren en draait alles weer op volledige capaciteit. Ik ga er niet van uit dat de verbinding er dan direct daarna weer uit knalt: ik heb in de tussentijd ook weer contact opgenomen omdat ik niet wist wat er gaande was. Het is dus fijn dat er een topic kwam weer - dat open bleef - zodat de status gevolgd kon worden. Niet iedereen zit er zo direct op net als jij en weet van minuut tot minuut de status. Voor mij is het allemaal maar gissen wat er nu weer aan de hand is...
Klopt ik keek nog even voordat ik naar bed ging in cmd en zag dat alles weer offline was terwijl het nog geen 3 uur was. Klanten hebben er nu toch wel last van maarja, als het probleem vanacht maar verholpen wordt.
Het lijkt me verstandig om er voor nu rekening mee te houden dat er tot vannacht 04:00 onderbrekingen kunnen plaatsvinden. Het is ook belangrijk dat het probleem goed wordt gevonden en verholpen.
Telecity is nu bezig met het reboten van een coreswitch. Sebas van Caveo en GrafiX werken er hard aan.
Succes heren!
MvR-servers
29/07/08, 00:52
Klopt Technotop ben ik helemaal mee eens, zie nu dat alles hier weer online is onder een flink verbeterde ping
De switches zijn gereboot en de situatie lijkt voorlopig stabiel, laat dit topic nog maar even open.
MvR-servers
29/07/08, 01:13
Mooi werk, de pings zijn er op dit moment ook op vooruit gegaan. Laat dit topic inderdaad open ja dan blijven we up to date
UPDATE
Het netwerk draait sinds 23:48u weer stabiel nadat beide core-switches in Telecity2, Amsterdam, door een engineer al daar zijn gereboot. Wij hebben getracht deze handeling zo lang mogelijk uit te stellen daar zo kostbare data mbt. de oorzaak mogelijk verloren gaat. Daar het niet mogelijk leek om het netwerk weer stabiel te krijgen middels "softe" handelingen is toch besloten om de switches te power-cyclen.
De exacte oorzaak wordt nog onderzocht, echter het lijkt er op dat de software op de switches in paniek is geraakt nadat een fibertraject is uitgevallen. Dit betreft het eerder gemelde fibertraject van Eurofiber.
Naar verwachting zal de definitieve oorzaak de komende dagen vastgesteld kunnen worden, nadat de huidige sofware-versies en logfiles zijn bestudeerd. Op basis van deze uitkomst zal onze huidige ring-situatie verder worden geanaliseerd en waar nodig worden omgelegd, dan wel uitgebreid.
Nogmaals mijn excuses voor de overlast en spanningen gedurende deze avond.
Verdere updates omtrent dit voorval, dan wel hieruit voortvloeiende acties, zullen via onze mailinglijst kenbaar worden gemaakt.
Welterusten,
Marco van Gink
MvR-servers
29/07/08, 03:52
Wordt de defecte fiber nog steeds vanacht om 3 uur ingebruik genomen? Of is die innmiddels al ingebruik?
MvR-servers
29/07/08, 09:45
Ik zie dat alles weer online is onder een verbeterde ping. Draait alles nu ook onder de volledige capaciteit?
Ik zag dat verdere updates via de mailinglist gingen, weet iemand toevallig hoe ik me kan aanmelden voor deze list?
Marco, Techonotop, Caveo bedankt!
MvR: Even mailen naar GrafiX
Ja, het netwerk draait sinds middernacht weer op volledige capaciteit.
MvR-servers
29/07/08, 10:43
Kan het kloppen dat nadat dit er bij is geschakeld:
7 9 ms 9 ms 10 ms openpeering.carrier.jointtransit.nl [82
230]
8 12 ms 15 ms 11 ms jointtransit.grafix.nl [217.170.10.156]
9 14 ms 18 ms 12 ms rtr-1.ams-tc2.grafix.nl [217.67.247.1]
De pings hoger zijn geworden Of is dit een domme vraag. Voordat dit bij de traceroute stond hadden ik en de klanten 8 tot 10 ms en nu 12 tot 15