Bekijk Volledige Versie : Proserve.nl en Dataplace.eu plat?
Volgens mij zijn Proserve en Dataplace volledig plat. Heeft iemand meer nieuws?
Volgens hun twitter is het al meer dan anderhalf uur plat, maar er zijn nog geen updates over de storing.
Het beste kan je dus even hun twitter in de gaten houden.
Misschien wel gewoon gepland onderhoud. Iemand met meer info?
Geen onderhoud:
23:44 De bevestiging is binnen dat dit het gehele datacenter betreft(dataplace te Alblasserdam). Er wordt hard gewerkt aan een oplossing. De reden dat u onze website wel kunt bezoeken is dat wij onze site bewust in ons secundaire datacenter in Rotterdam hebben geplaatst zodat we u bij calamiteiten als deze op de hoogte kunnen houden.
23:37 De storing heeft betrekking op het gehele datacenter, zodra we meer nieuws hebben melden we dat.
23:34 Op dit moment is er een storing. We onderzoeken wat er aan de hand is en geven zsm een update hier.
Oh dat klinkt niet best. Succes mannen met het vinden van de oorzaak.
Proserve schrijft:
Voor zover nu blijkt is de communicatie vanuit een van deze leveranciers niet optimaal geweest en is ook een verkeerd circuit onderbroken. Het lassen van de onderbroken glasvezel gaat volgens de laatste informatie tot circa 05:00 duren, hetgeen voor ons onacceptabel is.
Het kan behoorlijk moeilijk zijn om fiber toko's te sturen, maar het is wel slordig als blijkt dat de 'redundante glasring' gebruikt maakt van één en dezelfde fiber, duct of route.
dennis0162
11/01/12, 02:26
Oei dat is balen als dat het geval is.
Status updates via: http://status.proserve.nl/
Wij zijn volledig online vanuit Dataplace en maken ook gebruik van het Proserve netwerk.
Enkel onze eigen website is offline, omdat deze buiten ons eigen AS nummer draait. Klanten die gebruik maken van onze diensten zijn allemaal online.
Dat is een vervelende zaak. Tot 5 uur 's ochtends zou voor aardig wat downtime zorgen. Ze gaan in ieder geval aan een by-pass werken. Hopelijk komt die er snel en is alles snel weer online.
Wij zijn volledig online vanuit Dataplace en maken ook gebruik van het Proserve netwerk.Hier doet www.weserveit.nl het niet, en via http://just-ping.com/index.php?vh=83.96.159.202&c=&s=ping%21 geeft elke lokatie 100% packet loss aan.
Hier doet www.weserveit.nl het niet, en via http://just-ping.com/index.php?vh=83.96.159.202&c=&s=ping%21 geeft elke lokatie 100% packet loss aan.
Als je de edit leest zie je dat het enkel om onze main website gaat.
Als je de edit leest zie je dat het enkel om onze main website gaat.Je edit het nadat er twee vervolg posts zijn ;) Goede zaak dat jullie investeringen in netwerkapparatuur nu het dubbel en dwars terugbetalen!
Het kan behoorlijk moeilijk zijn om fiber toko's te sturen, maar het is wel slordig als blijkt dat de 'redundante glasring' gebruikt maakt van één en dezelfde fiber, duct of route.
Volledig mee eens, maar heb meer de indruk dat hun redundante leverancier afneemt van dezelfde leverancier als proserve zelf als ik het bericht op status pagina zo lees. Want anders is het heel toevallig dat 2 fiber leverancier op juist hetzelfde moment maintenance uitvoeren aan toevallig dezelfde fiber routes.
2 van onze glasvezelleveranciers van onze glasvezelring in Amsterdam met redundante aftak naar onze locatie in Alblasserdam, euNetworks en Relined, voeren op dit moment onderhoud uit aan een glasvezelnetwerk in Amsterdam.
Een update van Proserve:
De by-pass is aangebracht en de problemen zijn om 03:34 verholpen. Later vannacht zal er waarschijnlijk nog een korte onderbreking zijn bij het terugschakelen naar de orginele situatie.
Niet een echt goede zaak voor een datacenter van dit caliber je verwacht dat het zodanig is opgezet dat dergelijke problemen niet zouden gebeuren. Sterkte Proserve/Dataplace
Ze gaan het onderzoeken dus ik ben benieuwd wat eruit komt.
@WeServIT, Gebruiken jullie andere leveranciers dan Proserve?
Het blijft een apart verhaal. In de berichtgeving werd gesproken over alleen dataplace, maar onze servers in EUnetworks waren tot vier uur niet bereikbaar.
Voor mij als fibernoob is het wel opvallend dat True 1 dag eerder ook een probleem had met de fibers waardoor heel Redbus niet meer bereikbaar was.
Eurofiber had de laatste dagen onderhoud zover ik weet maar dat waren enkel firmwareupdates
dennis0162
11/01/12, 11:27
Het blijft een apart verhaal. In de berichtgeving werd gesproken over alleen dataplace, maar onze servers in EUnetworks waren tot vier uur niet bereikbaar.
Inderdaad, WeservIT was wel online in Dataplace.
Dus het lijkt mij dat 1 van de fibers het wel heeft gedaan?
Mogelijk een foutje in de netwerkapparatuur zelf i.p.v. de fibers?
Eurofiber had de laatste dagen onderhoud zover ik weet maar dat waren enkel firmwareupdates
Dat is alleen bij metrofibers van Eurofiber.
Voor zover ik opmaak uit de berichten lagen de verbindingen tussen Nikhef/TC3/DP aan de ene kant en Eunetworks aan de andere kant eruit (in geval van Pro de fibers Eun<>TC3 en Eun<>DP) . Verkeer wat dus via Eun binnenkomt maar naar DP moet loopt dan dood, net als andersom.
Blijkbaar wordt er in de netwerksetup vanuit gegaan dat zo'n split horizon nooit voor kan komen door de redundantie. Zonder je announcements voor Eun en DP volledig uit elkaar te trekken (en daarmee ook je IP reeksen) is het volgens mij ook niet eenvoudig op te lossen.
Blijven er wel enkele vragen over:
- Waarom is de verminderde redundantie niet aangekondigd naar klanten?
- Waarom voeren 2 toko's tegelijk onderhoud uit en kondigt 1 het niet aan?
- Is de huidige netwerksetup, waarbij Eun en DP blijkbaar niet los kunnen functioneren, wel optimaal?
CharlieRoot
15/01/12, 19:22
Ze hebben wel meer problemen, al ruim een jaar is het iedere keer raak als ze onderhoud gaan doen aan de routers. Bij een reboot krijgen we 900mbit/s broadcast storms en na al deze tijd weten ze nog geen oplossing. Support mailen, gesprekken hebben.. Niets helpt.
Iets in dat netwerk zit in elk geval goed fout.
Iets in dat netwerk zit in elk geval goed fout.
Uit de berichtgeving vanuit Proserve zelf kun je ook niets anders concluderen. Ook is de informatievoorziening (het zogenaamde eindrapport - http://status.proserve.nl/2012/01/11/eindrapportage-storing-glasvezelpaden-amsterdam/ ) wel zeer beknopt, tenzij de klanten via private kanalen nog van verdere informatie voorzien zijn.
CharlieRoot
16/01/12, 21:19
Nouja. Tijdens de 'storing' in hun glas verbinding lag ook heel EuNetworks er uit. One point of failure ergens?
Daarbij was afgelopen weekend in 2 andere DC's onderhoud, wij kregen te maken met broadcast storms. Maar dit lag aldus Proserve aan onze hardware (terwijl wij lagen te slapen).
De problemen hopen op, ze ontkennen alles. Zou niets mis zijn.
EUN heeft netwerktechnisch geen last gehad van de storing volgens het rapport en dat kan ik bevestigen.
Heb er diverse machines hangen en die zijn altijd bereikbaar geweest. Ook monitoring / NOC systeem hebben geen downtime te melden gehad wat dat betreft.
Ik denk dat het topic nu wel gesloten kan worden. Klanten zijn netjes terug gebeld met de exacte oorzaak en ik heb al in de wandelgangen gehoord over aanpassingen die gedaan gaan worden.
Even een paar feiten die voor ons gelden:
- Vanaf het moment dat ons apparatuur in Dataplace live is gegaan (februari 2011) hebben we nog 100% uptime. Wij hebben ook totaal geen hinder ondervonden van de glasvezelstoring. Ik moet er wel bij zeggen dat wij een eigen /20 IP space hebben die direct in Dataplace geannounced is en we redundante BGP sessies naar verschillende routers hebben.
- Tijdens het router onderhoud van afgelopen vrijdag nacht hebben wij totaal geen hinder ondervonden. Op onze smokeping is enkel een route wijziging te zien (wat natuurlijk logisch is).
Zoals Proserve ook al verteld heeft, waarschijnlijk hadden de klanten in EUnetworks welke wel problemen ondervonden de resolvers niet goed staan. De websites die ik geprobeerd heb te bereiken tijdens de storing waren gewoon online vanuit EUnetworks. Logisch ook, want het netwerk in EUnetworks heeft lokaal genoeg capaciteit om verder te draaien zonder de verbindingen.
[..]
Zoals Proserve ook al verteld heeft, waarschijnlijk hadden de klanten in EUnetworks welke wel problemen ondervonden de resolvers niet goed staan. De websites die ik geprobeerd heb te bereiken tijdens de storing waren gewoon online vanuit EUnetworks. Logisch ook, want het netwerk in EUnetworks heeft lokaal genoeg capaciteit om verder te draaien zonder de verbindingen.
Wat ik toch even niet snap, in het noc bericht van Proserve, en ook hierboven, is sprake van *resolvers* die niet goed staan.
Waarom worden webservers onbereikbaar als resolvers niet goed staan ?
Een resolver is de DNS server die een client gebruikt om IP adressen van hostnames op te zoeken.
Een authoritive DNS is de server waarin een (sub) domein gepubliceerd wordt;
Als het gaat om *access* klanten kan ik begrijpen dat verkeerde/onbereikbare resolvers een storing geven, maar de relatie tot server hosting die het niet doet vanwege verkeerde resolvers snap ik minder goed.
(Of staan dingen als database servers altijd op een hostnaam en wordt dns gebruikt om dat te resolven ?)
Wat ik toch even niet snap, in het noc bericht van Proserve, en ook hierboven, is sprake van *resolvers* die niet goed staan.
Waarom worden webservers onbereikbaar als resolvers niet goed staan ?
Een resolver is de DNS server die een client gebruikt om IP adressen van hostnames op te zoeken.
Een authoritive DNS is de server waarin een (sub) domein gepubliceerd wordt;
Als het gaat om *access* klanten kan ik begrijpen dat verkeerde/onbereikbare resolvers een storing geven, maar de relatie tot server hosting die het niet doet vanwege verkeerde resolvers snap ik minder goed.
(Of staan dingen als database servers altijd op een hostnaam en wordt dns gebruikt om dat te resolven ?)
Snap ik eigenlijk ook niet goed, mijn persoonlijke ervaring heeft me geleerd dat sommige zaken er wat langer over doen omdat de hostlookup eerst een time-out moet krijgen (om bvb log files te schrijven). Maar zolang je geen zaken in je log files hebt die hostname lookup doen zou je hier totaal geen last van mogen hebben. Dat is ook een reden waarom ik in (externe) monitoring altijd ip adressen gebruik en geen hostnamen of op de monitoring servers de hostnames op geef in /etc/hosts zodat die static staan, juist om false positieve/negative te vermijden als dns (recurive/authorive) het niet doet.
- Vanaf het moment dat ons apparatuur in Dataplace live is gegaan (februari 2011) hebben we nog 100% uptime. Wij hebben ook totaal geen hinder ondervonden van de glasvezelstoring.
En dat is dus wat ik een beetje slecht trek in de verklaring vanuit Pro. 2 glasvezels die blijkbaar over eenzelfde pad lopen, tsjah, Murphy enzo, maar waarom blijven bepaalde machines dan wel online? Het is vast allemaal prima uit te leggen, en daarom heb ik m'n accountmanager maar aangeraden met een fatsoenlijke RFO te komen ipv het huidige verhaal. Ben benieuwd of dat nog gaat gebeuren.
Het verhaal over 'resolvers die niet goed staan' vind ik ook maar raar trouwens, daar gaan webservers idd niet van plat. Je initiele SSH connectie is wat traag, maar wie checked daarmee nou de uptime van z'n server.
Nouja. Tijdens de 'storing' in hun glas verbinding lag ook heel EuNetworks er uit. One point of failure ergens?
Daarbij was afgelopen weekend in 2 andere DC's onderhoud, wij kregen te maken met broadcast storms. Maar dit lag aldus Proserve aan onze hardware (terwijl wij lagen te slapen).
De problemen hopen op, ze ontkennen alles. Zou niets mis zijn.
Totaal geen downtime gehad. Het was netwerk gerelateerd en niet heel EU lag eruit.
- Vanaf het moment dat ons apparatuur in Dataplace live is gegaan (februari 2011) hebben we nog 100% uptime. Wij hebben ook totaal geen hinder ondervonden van de glasvezelstoring.100% uptime is toch onjuist? Onder andere de website lag er tijdens de storing uit. Is storingen zoals deze de reden dat de website en de klanten niet in hetzelfde netwerk draaien?
100% uptime is toch onjuist? Onder andere de website lag er tijdens de storing uit. Is storingen zoals deze de reden dat de website en de klanten niet in hetzelfde netwerk draaien?
In dit geval bedoelde ik het netwerk waar de diensten van onze klanten in draaien. Onze website lag er inderdaad tijdens de storing uit. Echter was e-mailen / telefonisch contact opnemen gewoon mogelijk. Klantenpaneel, e-mail en VOIP centrale zijn allemaal geografisch gescheiden.
Vanaf het moment dat ons apparatuur in Dataplace live is gegaan (februari 2011) hebben we nog 100% uptime.
Ik dacht dat jullie pas in juni 2011 zijn begonnen met de overstap naar dataplace......
Ik dacht dat jullie pas in juni 2011 zijn begonnen met de overstap naar dataplace......
We hadden al apparatuur daar hangen in februari ;)
we hadden al apparatuur daar hangen in februari ;)
ok :-))