Onderwerp: Websites Telfort en Rijksoverheid offline door storing bij Prolocation - Update

Diep, en diep triest.
Dat dit soort partijen hier hinder van kunnen ondervinden überhaupt.

Een fall-back cq. Twin-locatie is toch iets dat zeker voor dergelijke sites/applicaties gewoon vandaag de dag niet zou mogen ontbreken. Punt.
Zeer slecht en wederom een voorbeeld van hoe partijen simpelweg vertrouwen hebben in een (nietszeggende-) SLA welke feitelijk niets uitsluit of garandeert (maar dat wel suggereert vaak.

Weet niet wat er 'verkocht' is aan deze partijen, maar ik neem aan dat ze het volle pond betalen voor een solution waar dit nooit bij had mogen gebeuren.

Ben wel heel erg benieuwd naar de RC van deze storing. Dit is niet zomaar een kabelbreukje. Ik ga er toch vanuit dat deze provider een berg ervaring heeft en niet zomaar wat aan aan het hobbyen is. En Twinnen is leuk, maar ook Twin concepten kunnen stuk, alles heeft een zwakke schakel en als je nu net daar geraakt wordt ben je het haasje.

Het lijkt mij ook te vroeg / niet mogelijk om nu te stellen dat ze geen redundantie of uitwijk locaties en plannen hebben . Maar ben we erg benieuwd, te meer om te kijken of ik wat kan leren.

Oorspronkelijk geplaatst door Normal

Het lijkt mij ook te vroeg / niet mogelijk om nu te stellen dat ze geen redundantie of uitwijk locaties en plannen hebben . Maar ben we erg benieuwd, te meer om te kijken of ik wat kan leren.

Het lijkt mij in elk geval een juiste stelling dat áls men al failover/redundancy of uitwijk had - dit niet werkte. Dit is nogal verwijtbaar kijkende naar de hoeveelheid sites (en omvang) die ze hosten.

Gezien de symptomen lijkt het mij geen kabelbreuk, het ziet er meer als een DDoS uit (of een interne golf van verkeer?)

Oorspronkelijk geplaatst door CharlieRoot

Gezien de symptomen lijkt het mij geen kabelbreuk, het ziet er meer als een DDoS uit (of een interne golf van verkeer?)

Daarom ben ik ook zo benieuwd...
Maar omdat DDoS aanval ook wel oplosbaar is (zeker in dit tijdsbestek) sluit ik een aantal andere voor de hand liggende zaken maar gewoon uit.

Oorspronkelijk geplaatst door CharlieRoot

Gezien de symptomen lijkt het mij geen kabelbreuk, het ziet er meer als een DDoS uit (of een interne golf van verkeer?)

Kan evengoed een kabelbreuk zijn, waardoor men het verkeer met minder capaciteit moet afhandelen. Dat veroorzaakt dezelfde symptomen.

Oorspronkelijk geplaatst door Apoc

Kan evengoed een kabelbreuk zijn, waardoor men het verkeer met minder capaciteit moet afhandelen. Dat veroorzaakt dezelfde symptomen.

Lijkt me sterk, de routers zijn bereikbaar maar hierna gaat het (op het interne netwerk/router) ergens faliekant mis. Neem aan dat je interne netwerk toch altijd veel meer capaciteit heeft dan je pijpen naar internet toe? Hoe dan ook zal het nu speculeren blijven, ik zie nog nergens een persbericht van deze club naar buiten toe.

Oorspronkelijk geplaatst door CharlieRoot

Lijkt me sterk, de routers zijn bereikbaar maar hierna gaat het (op het interne netwerk/router) ergens faliekant mis. Neem aan dat je interne netwerk toch altijd veel meer capaciteit heeft dan je pijpen naar internet toe?

Stel je hebt 2 core routers. Door kabelbreuk heeft 1 van de routers geen verbinding meer naar buiten. Dus moet alles via de andere router lopen, en die heeft onvoldoende capaciteit. Zou zomaar kunnen. Dit vereist dan natuurlijk wel dat de overgebleven router onvoldoende capaciteit had, en dat zaken dus niet op orde waren - maar dat laatste lijkt me toch al wel vrij duidelijk.

Oorspronkelijk geplaatst door Apoc

Stel je hebt 2 core routers. Door kabelbreuk heeft 1 van de routers geen verbinding meer naar buiten. Dus moet alles via de andere router lopen, en die heeft onvoldoende capaciteit. Zou zomaar kunnen. Dit vereist dan natuurlijk wel dat de overgebleven router onvoldoende capaciteit had, en dat zaken dus niet op orde waren - maar dat laatste lijkt me toch al wel vrij duidelijk.

Inderdaad, mogelijk. Ik wacht met interesse de verklaring af.

Oorspronkelijk geplaatst door Apoc

Stel je hebt 2 core routers. Door kabelbreuk heeft 1 van de routers geen verbinding meer naar buiten. Dus moet alles via de andere router lopen, en die heeft onvoldoende capaciteit. Zou zomaar kunnen. Dit vereist dan natuurlijk wel dat de overgebleven router onvoldoende capaciteit had, en dat zaken dus niet op orde waren - maar dat laatste lijkt me toch al wel vrij duidelijk.

Als er een resource probleem is omdat er 1 van de 2 routers (ik verwacht iets meer routers bij ze, maargoed)... dan zou ik verwachten dat ze een aantal klanten wel door laten en een aantal niet. Ik neem aan dat niet alle klanten dezelfde SLA met ze hebben. grotere klanten met een hogere SLA zouden wat mij betreft dan voorhang krijgen.

Wat de klanten vooral steekt is dat ze 0 antwoord krijgen van prolocation, sinds vanmorgen geen contact met je klanten in zulke situaties is funnest voor je klanten bestand. ik zou me als klant in iedergeval wel 3x achter de oren krabben.

Misschien hebben ze nog geen idee wat de oorzaak is en slechts een vermoeden, laat de salesmanager maar contact zoeken met de betreffende klanten en ze een verklaring geven..... doekje voor het bloeden is beter dan helemaal niets.

https://twitter.com/Prolocation_NOC

De oorzaak van de problemen is tot op heden nog niet bekend

Omfg..

Oorspronkelijk geplaatst door CharlieRoot

https://twitter.com/Prolocation_NOC


Omfg..

en zo snel ook....

Oorspronkelijk geplaatst door Boskoop

en zo snel ook....

Ik zie dat hun site het op dit moment weer doet.

Code:

traceroute to prolocation.net (94.228.129.112), 30 hops max, 60 byte packets
 1  v15-if0.cr1.eun.wipabv.net (171.25.179.125)  0.689 ms  0.679 ms  0.672 ms
 2  v15-if0.cr2.eun.wipabv.net (171.25.179.126)  0.926 ms  0.921 ms  0.920 ms
 3  wipa.nikhef.openpeering.nl (82.150.159.33)  1.363 ms  1.359 ms  1.353 ms
 4  openpeering.prolocation.net (82.150.158.187)  9.480 ms  9.775 ms  9.926 ms
 5  rc05-20g-12-rc04-20g-12.prolocation.net (94.228.128.125)  321.399 ms  321.39                                                                                                                                                             4 ms  321.392 ms
 6  94.228.130.246 (94.228.130.246)  13.383 ms  1.355 ms  13.436 ms

Oorspronkelijk geplaatst door Boskoop

Als er een resource probleem is omdat er 1 van de 2 routers (ik verwacht iets meer routers bij ze, maargoed)... dan zou ik verwachten dat ze een aantal klanten wel door laten en een aantal niet. Ik neem aan dat niet alle klanten dezelfde SLA met ze hebben. grotere klanten met een hogere SLA zouden wat mij betreft dan voorhang krijgen.

Het is speculeren, maar normaal gesproken zijn dergelijk verschillende SLA klanten niet op routing niveau onderscheidbaar .
Als een eventueel resource probleem "voor" de plekken zit waar hoge of lage SLA klanten scheiden kun je dat niet of nauwelijks op die manier voorrang geven.

Als je een 'top' en 'budget' datacenter hebt , en een probleem in beide is het natuurlijk wel simpel om eerst problemen in het 'top' DC aan te pakken en daarna pas budget, maar je "uplink" en klant verdeling over prefixen zijn gewoonlijk gedeeld voor al je diensten en klanten.

Ik heb de indruk dat dit probleem in of dicht bij de internet-zijdige kant van prolocation zit, en dan is er typisch weinig te prioriseren tussen klanten.

Oorspronkelijk geplaatst door CharlieRoot

Ik zie dat hun site het op dit moment weer doet.
...

voor hoelang het duurt, hier is de site alweer offline en pings komen niet meer aan.

- - - Updated - - -

Oorspronkelijk geplaatst door visser

Het is speculeren, maar normaal gesproken zijn dergelijk verschillende SLA klanten niet op routing niveau onderscheidbaar .
Als een eventueel resource probleem "voor" de plekken zit waar hoge of lage SLA klanten scheiden kun je dat niet of nauwelijks op die manier voorrang geven.

Als je een 'top' en 'budget' datacenter hebt , en een probleem in beide is het natuurlijk wel simpel om eerst problemen in het 'top' DC aan te pakken en daarna pas budget, maar je "uplink" en klant verdeling over prefixen zijn gewoonlijk gedeeld voor al je diensten en klanten.

Ik heb de indruk dat dit probleem in of dicht bij de internet-zijdige kant van prolocation zit, en dan is er typisch weinig te prioriseren tussen klanten.

behalve je bgp announcens weghalen voor alle klanten en stuk voor stuk toevoegen?

Oorspronkelijk geplaatst door visser

Het is speculeren, maar normaal gesproken zijn dergelijk verschillende SLA klanten niet op routing niveau onderscheidbaar .
Als een eventueel resource probleem "voor" de plekken zit waar hoge of lage SLA klanten scheiden kun je dat niet of nauwelijks op die manier voorrang geven.

Als je een 'top' en 'budget' datacenter hebt , en een probleem in beide is het natuurlijk wel simpel om eerst problemen in het 'top' DC aan te pakken en daarna pas budget, maar je "uplink" en klant verdeling over prefixen zijn gewoonlijk gedeeld voor al je diensten en klanten.

Ik heb de indruk dat dit probleem in of dicht bij de internet-zijdige kant van prolocation zit, en dan is er typisch weinig te prioriseren tussen klanten.

Ik zit her en der wat traceroute's te bekijken en het lijkt er op alsof ze nu per subnet zaken weer online proberen te krijgen. Zo kom ik vanaf Atrato niet bij hun site, via Openpeering wel.

Het is in ieder geval onomstotelijk een probleem aan de interne configuratie van dit netwerk.