Bekijk Volledige Versie : Leasweb problemen?
Iemand anders hier ook last van? Of is er bekend wat er aan de hand is?
alle servers onbereikbaar hier, leaseweb.com ook indd
Keenondots
27/08/10, 11:51
unknown host, lijkt me niet goed.
Wij hebben een server staan daar die er sinds 10.45u uit is.
noc.leaseweb.com ligt er ook uit.. Dus zeker het hele netwerk van leaseweb.
twee full rack offline op zowel evo als easynet...
Mijn servers in Evoswitch en Easynet 1D zijn ook onbereikbaar. Gek dat het in twee datacenters tegelijk mis gaat?
Hier servers in EvoSwitch ook niet te bereiken.. :-(
Mijn servers in Evoswitch en Easynet 1D zijn ook onbereikbaar. Gek dat het in twee datacenters tegelijk mis gaat?
Same here als je trace route zie je wel evo voorbij komen in de routing naar easynet.
8 *ten0-0-0-6.crs-evo.leaseweb.net (85.17.x.x) *19.795 ms *19.937 ms *18.393 ms
9 ** * *
10 ** * *
11 ** * *
12 ** * *
13 ** *
Mijne staan in SBP ... ook down
Ja hier ook 3 racks volledig offline in Schuberg Phillis... heb gebeld naar account manager, klopt alles ligt eruit, 'ze zijn er druk mee bezig' :)
Hier ook alles plat op verschillende locaties bij LSW
Toch vreemd aangezien de NOC van Leaseweb in de UK draait.
zowel ESY als EVO down...
NOC doet het hier gewoon, staat echter niets vermeld.. (alleen de datagraph doet het niet)
Hier ligt, alles zins 10.55 uur plat, kan niks meer bereiken noc niet, apc`s niet servers niet. :) dus het is afwachten, hoop niet dat het extreem lang gaat duren .
Keenondots
27/08/10, 11:59
AMS-IX stats ook een goeie dip:
http://ams-ix.net/statistics/
volgens mij een netwerkdingetje.. providers met eigen netwerk zijn wel up...
..hoop niet dat het extreem lang gaat durenWie hoopt dat wel?
Hier enkel onze eigen spullen te bereiken, enkel zaakjes in EvoSwitch onbereikbaar.
Bakker ICT
27/08/10, 11:59
Er lijken wat network troubles te zijn, kan alles wel bereiken, enkel vanuit servers naar buiten communiceren lukt niet
Alle nameservers van ze zijn down, dat is waarschijnlijk de reden dat de NOC voor de meeste mensen het niet doet.
TotallyHosted
27/08/10, 12:00
Hier ook een rack vol coloklanten plat (Evoswitch)
Iemand al contact weten te krijgen?
AMS-IX stats ook een goeie dip:
http://ams-ix.net/statistics/
kom niet eens op die website? timeout... neem aan dat ik iets fout doe... of...
EDIT: hoe kan er zo'n impact zijn op AMS-IX?
kom niet eens op die website? timeout... neem aan dat ik iets fout doe... of...
AMS-IX website doet het hier maar wel enorm traag
EDIT: Ok hier nu ook niet meer
Nee, ik kom ook niet op de ams-ix pagina...
Maar heel af en toe merk ik dat dat hij wel verkeer doorlaat naar Easynet...
Mogelijk is iedereen AMS-IX aan het hammeren :p Straks ligt die ook plat :D
Veel sterkte voor Leaseweb!
Hier doet ams-ix het ook niet.
hier heel sporadisch ping naar EVO
ams-ix is hier ook onbereikbaar
TotallyHosted
27/08/10, 12:05
Mijn collega heeft net gebeld met Leaseweb, hun corerouter ligt op z'n gat.
Die word nu door alle klanten die de Amsix willen zien :) je zou toch verwachten dat een zodanig groot team van engineers als wat LW heeft even op een knopje zouden kunnen drukken om alles weer up te krijgen :)
Robert Esseveld
27/08/10, 12:06
Oké! Hier ligt ook alles plat inderdaad.
Mijn collega heeft net gebeld met Leaseweb, hun corerouter ligt op z'n gat.
Neem aan dat dat niet 1 corerouter is dan ... Alle locaties down daar heb je nogal wat voor nodig lijkt me :huh:
hadden ze er laatst niet werkzaamheden op uitgevoerd?
Neem aan dat dat niet 1 corerouter is dan ... Alle locaties down daar heb je nogal wat voor nodig lijkt me :huh:
Ze draaiden toch alles op twee van die Cisco CRS-1's? Geloof dat alle locaties tegenwoordig niet meer afzonderlijk draaien, zoals dat vroeger wel was.
Sowieso hadden ze vanmorgen toch al een storing op een core router voor volume verkeer volgens de email vanmorgen
Time: Fri 27 Aug 2010 06:19
Expected Downtime: Unknown
Location: EvoSwitch
Reason: Unknown
*******************************
Dear Customer,
At the moment we experience some troubles in (part of) our network.
Affected IP ranges:
94.75.236.0/23
95.211.80.0/21
95.211.96.0/22
95.211.100.0/23
85.17.74.0/23
109.69.56.0/22
We are doing our utmost to solve this issue a.s.a.p.
As soon as we have more information available, we will publish it here.
Please be patient while we are working on this problem.
Regards,
LeaseWeb BV
Hier ook, website leaseweb (en dus ook dns) blijkbaar ook weer.
TotallyHosted
27/08/10, 12:10
Hier (EvoSwitch) ook!
Evoswitch bij mij nog steeds down....
Edit: en weer up!
NOC.leaseweb.com werkt vanaf hier.
Alleen nog geen update van 27 augustus.
Het probleem zal wel binnen afzienbare tijd zijn opgelost.
At the moment we are experiencing major network issues, both core routers are dropping BGP sessions.
Hier is het weer up, EvoSwitch :)
Jup Alles weer up hier in evoswitch :) nu hopen dat het zo blijft haha, :P
Robert Esseveld
27/08/10, 12:11
En alles komt hier ook weer online:)
TotallyHosted
27/08/10, 12:12
Jup Alles weer up hier in evoswitch :) nu hopen dat het zo blijft haha, :P
Ja, nog een SMS-bom van onze serverwatch overleeft mijn telefoon niet :)
Solutionsource
27/08/10, 12:13
Ik heb nog niet alles gelezen.
Ik heb ook problemen. Rack in Evoswitch (hal 1) volledig down, inclusief routes er naartoe zoals het lijkt.
LSW gebeld. "klopt, alles ligt eruit, mee bezig". Ze kunnen de NOC niet updaten omdat ze zelf ook geen verbinding meer hebben (hadden, ik zie net een mail binnenkomen).
Solutionsource
27/08/10, 12:14
Update: Hier ook alles weer op sinds een minuut of 2.
@TotallyHosted
Gelukkig heeft Pingdom een pauze knop per contact, ben er altijd als de kippen bij om geen SMS bommen te ontvangen :)
LSW gebeld. "klopt, alles ligt eruit, mee bezig". Ze kunnen de NOC niet updaten omdat ze zelf ook geen verbinding meer hebben (hadden, ik zie net een mail binnenkomen).
Ze zullen in dat kantoor toch nog wel een extra ADSL'tje hebben liggen? :S Of anders een telefoon met internet erop.
Ik heb nog niet alles gelezen.
Ik heb ook problemen. Rack in Evoswitch (hal 1) volledig down, inclusief routes er naartoe zoals het lijkt.
LSW gebeld. "klopt, alles ligt eruit, mee bezig". Ze kunnen de NOC niet updaten omdat ze zelf ook geen verbinding meer hebben (hadden, ik zie net een mail binnenkomen).
Al hun nameservers waren waarschijnlijk down, dat was de reden waarom het NOC in de UK niet te bereiken was.
Al hun nameservers waren down, dat was de reden waarom het NOC in de UK niet te bereiken was.
Niet waar, want twee Litouwse collega's van me konden beide de NOC gewoon bereiken, terwijl ze zeker weten geen DNS cache of wat dan ook hadden van die pagina.
Solutionsource
27/08/10, 12:22
Ze zullen in dat kantoor toch nog wel een extra ADSL'tje hebben liggen? :S Of anders een telefoon met internet erop.
Vast, maar klaarblijkelijk nog niet zo snel voor handen. Wij zijn een minuut of 20 down geweest denk ik (moet de monitoring logs nog nakijken voor de preciese tijd).
Niet waar, want twee Litouwse collega's van me konden beide de NOC gewoon bereiken, terwijl ze zeker weten geen DNS cache of wat dan ook hadden van die pagina.
Kan het mis hebben natuurlijk, maar alle nameservers van Leaseweb waren op het moment van de storing down. Draaide wel op verschillende locaties, maar in hetzelfde netwerk.
GlobalServe
27/08/10, 12:26
Raar dat in Belgie hier rond ongeveer dezelfde periode Belgacom ADSL down was.
Zou dit er iets mee te maken kunnen hebben?
Kan het mis hebben natuurlijk, maar alle nameservers van Leaseweb waren op het moment van de storing down. Draaide wel op verschillende locaties, maar in hetzelfde netwerk.
Dat is niet zo handig. Suggestie: spreiden over verschillende netwerken / datacenters en verschillende .tld's, want ja ook .tld's kunnen eruit klappen.
Ze hebben ook verschillende .tld's en verschillende datacenters, maar hetzelfde netwerk allemaal.
nameserver: ns1.leaseweb.nl
nameserver: ns4.leaseweb.net
nameserver: ns5.leaseweb.nl
Bakker ICT
27/08/10, 12:35
Wel weer grappig om te zien dat problemen bij LSW een dipje van 100 Gb/s veroorzaakt via de AMS-IX , wat minder grappig is dat dit soort dingen helaas toch wat te vaak gebeuren ..
Robert Esseveld
27/08/10, 12:56
Nog meer mensen last van bgp sessies die stuk lopen?
Wij zien berichten van andere IX-en/partijen dat er ook daar sessies zijn gedropped, niet alleen bij LeaseWeb.
Wij zien berichten van andere IX-en/partijen dat er ook daar sessies zijn gedropped, niet alleen bij LeaseWeb.
Internet van Vodafone was hier op hetzelfde moment ook helemaal plat! Is geen toeval lijkt me.
Bij ons zijn er ook BGP sessies gedropped.
Bakker ICT
27/08/10, 14:35
(wat zijn bgp sessies? )
http://nl.wikipedia.org/wiki/Border_Gateway_Protocol
Internet van Vodafone was hier op hetzelfde moment ook helemaal plat! Is geen toeval lijkt me.
Om 13:35 uur klikte ik op facebook en ik kwam op de site van vodafone.nl, schijnbaar zijn ze nog bezig?
Dat had ik ook vreemde routeringen dacht dat het in mijn PC zat :)
De oorzaak is waarschijnlijk een obscure IOS bug waarvoor Cisco vrijdagmiddag een fix voor heeft uitgebracht. Op nanog is er een hele discussie over. Kort gezegd:
- Vrijdagochtend kondigde RIPE een route aan met een een experimenteel BGP attribuut.
- IOS verslikt zich op deze route en verbreekt de BGP sessie.
Uiteraard heeft Renesys een artikel hierover:
http://www.renesys.com/blog/2010/08/house-of-cards.shtml
Is trouwens wel een interessant artikel op Renesys. leuk om het zo eens te lezen, maar minder om het mee te maken.
De oorzaak is waarschijnlijk een obscure IOS bug waarvoor Cisco vrijdagmiddag een fix voor heeft uitgebracht. Op nanog is er een hele discussie over. Kort gezegd:
- Vrijdagochtend kondigde RIPE een route aan met een een experimenteel BGP attribuut.
- IOS verslikt zich op deze route en verbreekt de BGP sessie.
Uiteraard heeft Renesys een artikel hierover:
http://www.renesys.com/blog/2010/08/house-of-cards.shtml
Paar nitpickjes :
Niet IOS (gelukkig, want dan was de impact *veel* hoger geweest), maar IOS-XR . XR is een volledige rewrite, en draait alleen op CRS-1,ASR-9000 en (eventueel) op GSR (12000 serie). (Op de GSR kan ook gewoon IOS draaien).
De bug in IOS-XR leidt ertoe dat dit attribuut verminkt wordt, en een router die een verminkte BGP update ziet, moet (volgens de RFCs) de sessie resetten. Dat is dus de neighbour.
Het XR BGP development team zal op moment geen weekend hebben, want de Cisco security advisory meldt dat de eerste gepatchede versies vandaag beschikbaar moeten komen.
http://www.cisco.com/en/US/products/products_security_advisory09186a0080b4411f.shtml
Announces voor updates van de core routers zijn alvast de deur uit :)
Leaseweb heeft de NOC website verhuisd naar een domein waarvan ze de DNS niet zelf hosten.
De nieuwe URL is http://leasewebnoc.com