Bekijk Volledige Versie : Grote storing EVOswitch / Easynet / Telecity 2 Leaseweb netwerk
http://www.webhostingtalk.nl/quicktest.php?action=result&qtid=168544&r=9842
Hallo Allemaal,
NOC van LSW geeft volgende weer:
Dear Customer,
At the moment we experience some troubles on location Schuberg Philis, we are receiving an large dDOS.
We are doing our utmost to solve this issue a.s.a.p.
As soon as we have more information available, we will publish it here.
Please be patient while we are working on this problem.
Regards,
LeaseWeb BV
[UPDATE 13:55] At this moment we are still investigating this dDOS. We are unable to answer any phone calls. Our apologies for any inconvenience.
Echter hebben wij problemen met onze servers in EVO en EASY iemand die deze problemen kan bevestigen?
LSW neemt de telefoon niet aan die zijn bang dat ze de wind van voren krijgen...
Mijn server in Evoswitch is ook onbereikbaar. M'n server in Easynet (suite 1D) doet het echter prima!
in telecity2 ook problemen..
hier ook alles @ evoswitch down. Had de laatste paar uur sowieso al veel (ping/lag) problemen.
FunnyMedia
24/09/08, 15:33
PROMOTOR.nl lig ook plat en dat was zo`n grote voorstander en positivo over LSW / EVO :-)
Kan gebeuren maar het is wel vervelend.
Hoop dat het snel weer onder controle is.
Easynet 2A geen problemen.
Hmm, ben blij dat ik het gros van mijn servers al weggetrokken heb bij lsw, ze belde me onlangs omdat ze me niet kwijt willen als klant maar dan moeten ze ook wel wat doen aan hun service.
Dit is de derde keer in het afgelopen half jaar dat het gezeik is, ik ben het echt zo spuug zat. Na afgelopen keer hebben we al een groot deel weggehaald daar maar blijkbaar moeten we de rest ook maar verhuizen.
Hier ook alle servers in Evoswitch onbereikbaar :(
Servers in easynet (1D) werken nog naar behoren.
Hopen dat het snel gefixed is.
Hier ook alles down @ Evoswitch, jammer dat ze dat niet op hun site zetten
Hier ook weer alles wat bij Evo hangt onbereikbaar.
En die dDos smoes hebben we nu wel een beetje gehoord hoor. Wordt er een beetje moe van inmiddels.
Onze servers in Easynet en Evoswitch zijn ook zeer moeilijk te bereiken. Soms lijkt het weer even goed te gaan, maar nog steeds hoge latency uitschieters ( +1200ms ). Ik heb sinds het begin van de middag al trage performance naar Evo toe maar sinds ongeveer een half uur is het echt dramatisch. Niet leuk, maar ook zeer weinig aan te doen.
XXXXX.nl lig ook plat en dat was zo`n grote voorstander en positivo over LSW / EVO :-)
Kan gebeuren maar het is wel vervelend.
Hoop dat het snel weer onder controle is.
Hoe zielig kan je zijn als je andere mensen gaat uitlachen als hun datacenter er 2 minuten uit ligt. Moet ik jouw servers gaan monitoren om dan te kunnen zeggen: HAHA nu lig jij eruit, lekker puh... beetje erg flauw, dit is onze eerste downtime sinds 2006 maar goed, we kennen je niveau...
Bedankt voor het noemen van onze naam zodat Google dit mooi kan spideren, erg professioneel van je, dit ondanks alle hulp die ik in het verleden geboden heb.
En stuur mij even dat topic waar ik positief ben over EVO, daar ben ik nog nooit positief over geweest?
Nou ja 2 minuten downtime in jaren, vervelend maar goed alles is weer up, ze moesten wellicht even een DDosje wegfilteren...
FunnyMedia
24/09/08, 15:43
Hoe zielig kan je zijn als je andere mensen gaat uitlachen als hun datacenter er 2 minuten uit ligt. Moet ik jouw servers gaan monitoren om dan te kunnen zeggen: HAHA nu lig jij eruit, lekker puh... beetje erg flauw, dit is onze eerste downtime sinds 2006 maar goed, we kennen je niveau...
Bedankt voor het noemen van onze naam zodat Google dit mooi kan spideren, erg professioneel van je, dit ondanks alle hulp die ik in het verleden geboden heb.
En stuur mij even dat topic waar ik positief ben over EVO, daar ben ik nog nooit positief over geweest...
Volgens mij heb ik niet gelachen over deze downtime hoor, ik weet alleen van de diverse topics over dit DC en Netwerk dat jullie er staan en zag op mijn site(s) dat jullie niet meer geladen worden vandaar mijn reactie.
Als je daar de pest over in heb, mijn excuus zo was die niet bedoeld in ieder geval.
Zal me er verder maar buiten houden daar ik geen klant of persoon tot dit dc / netwerk ben.
EDIT: aanpassing gedaan in posting zodat google niets te scannen heb...
Als jij dat dan ook doet is gogle toch weer je vriend...
Mijn server in Evoswitch is weer bereikbaar, gelukkig geen uren downtime dit keer.
Alles is weer up? Nou hier bij lange na niet, alles is nog steeds heel erg down volgens mijn monitor systeem...
EDIT: ja het begint weer te komen :-)
Hier is weer alles online bij SBP, downtime was nog geen 2 minuutjes... Ik bedoel je roept onze naam in combinatie met downtime, ik heb ooit in 2002 wat downtime gehad, dat staat nu nog in Google, is dus vrij gevaarlijk om dat zo te doen en ben ik niet zo blij mee dus :(
Thanks for the edit :)
Pimp Industries
24/09/08, 15:49
Geduld mensen.... als ze meer weten zetten ze wel iets op NOC.
Ja ze zijn nog even aan het kijken in het grote smoesenboek op blz. 33 wat ze deze keer moeten vertellen...
Intussen liggen er nu bij ons ook een aantal servers in EASY uit... meer mensen dit probleem?
Ja ze zijn nog even aan het kijken in het grote smoesenboek op blz. 33 wat ze deze keer moeten vertellen...
Kom zeg, hou het een beetje normaal en on topic. Dit soort flauwekul opmerkingen (blijkbaar is de relatie nogal verstoord) is niet van belang gedurende deze storing.
Bakker ICT
24/09/08, 15:56
Volgens mij is het flink hardnekkig idd. Evo weer down.
Ja ze zijn nog even aan het kijken in het grote smoesenboek op blz. 33 wat ze deze keer moeten vertellen...
Intussen liggen er nu bij ons ook een aantal servers in EASY uit... meer mensen dit probleem?
jij bent zeker bij hoofdstuk 2 "grootheids waanzin" , bij hoofdstuk 6 leer je dat zaken doen, je doet zonder emoties.
Telecity is ook niet bereikbaar :(
In andere DC's waar wij zitten kunnen ze in enkele minuten een dDOS laten verdwijnen in een blackhole, waarom duren dit soort zaken bij LSW soms uren? Het excuus dat er dus weer is een dDOS is vind ik niet meer aannemelijk.
TC2 hier ook down, meerdere racks die niet functioneren.
http://smokeping.addwebsolutions.nl/cgi-bin/smokeping.cgi?target=Netherlands.LeasewebTC2 :( ik hoop dat ze het snel kunnen oplossen...
In andere DC's waar wij zitten kunnen ze in enkele minuten een dDOS laten verdwijnen in een blackhole, waarom duren dit soort zaken bij LSW soms uren? Het excuus dat er dus weer is een dDOS is vind ik niet meer aannemelijk.
misschien andere problemen? denk dat jou punt nu wel duidelijk is in dit topic.
In andere DC's waar wij zitten kunnen ze in enkele minuten een dDOS laten verdwijnen in een blackhole, waarom duren dit soort zaken bij LSW soms uren?
Dat vraag je dan tzt. maar na bij LW. Voor nu doet dat niet ter zake. On topic graag.
misschien andere problemen? denk dat jou punt nu wel duidelijk is in dit topic.
Of mijn punt duidelijk is maakt me niet zo uit, er moet dan alleen geen opmerking komen over mijn sarcasme...
vooralsnog gewoon alles down :-(
Of mijn punt duidelijk is maakt me niet zo uit, er moet dan alleen geen opmerking komen over mijn sarcasme...
Loop jij in een eenrichtinsstraat?
In andere DC's waar wij zitten kunnen ze in enkele minuten een dDOS laten verdwijnen in een blackhole, waarom duren dit soort zaken bij LSW soms uren? Het excuus dat er dus weer is een dDOS is vind ik niet meer aannemelijk.
Uhuh, een ddos van 100mbit kan je zo blackholen. Maar ik hoor net van een directe bron dat het om circa 25gbit gaat. Een ddos van 25gbit blackhole je niet zomaar als de CPU's van je routers op 100% staan...
Ohoh, mensen zouden is moeten weten...
er moet dan alleen geen opmerking komen over mijn sarcasme...
Zo je doet, zo je ontmoet
of wie een bal kaatst, kan hem geheid terug verwachten.
Uhuh, een ddos van 100mbit kan je zo blackholen. Maar ik hoor net van een directe bron dat het om circa 25gbit gaat. Een ddos van 25gbit blackhole je niet zomaar als de CPU's van je routers op 100% staan...
Ohoh, mensen zouden is moeten weten...
Dan hebben ze het iig goed aangepakt... :nono: :surrender:
Sterkte toegewenst voor degene die er hinder van ondervinden! :sweatdrop:
In andere DC's waar wij zitten kunnen ze in enkele minuten een dDOS laten verdwijnen in een blackhole
je bedoelt vast "In andere netwerken" :stupid:
patrickwww
24/09/08, 16:23
Schubergh Philis ook regelmatig down
FransVanNispen
24/09/08, 16:23
Hier gaan al sinds 14:09 steeds blokken servers er uit in zowel SBP als EVO.
De laatste update op de NOC pagina is van 13:55, en gaat alleen over SBP.
Het lijkt hier alleen steeds erger te worden. En ze zijn idd niet telefonisch bereikbaar, dus hebben we totaal geen zicht op wat er gaande is.
Zijn bij jullie alle problemen alweer opgelost?
Ik kan mijn server niet bereiken, ook niet over ILO. Server staat ook in EVO.
Arjen @ ARKOis
24/09/08, 16:24
Hier niks bereikbaar
patrickwww
24/09/08, 16:25
www.ucando.nl
up and running:)
FransVanNispen
24/09/08, 16:26
Waarom is er van de dDos niets terug te zien in het traffic overzicht op de noc pagina?
Hier ook alles down.. Op website van EVO/LSW geen informatie te vinden over wat er nu exact gaande is...
Ramon Fincken
24/09/08, 16:26
Jongens, dat is al zovaak in dit topic gezegd ... reply nu gewoon als je iets nieuws te melden hebt ..
patrickwww
24/09/08, 16:27
http://89.238.146.98/
Omdat, de grafiek ook niet meer werkt :)
Ons rack in Easynet (1D) doet het gelukkig nog steeds, maar minder is dat we ook ADSL op kantoor afnemen via LSW. :-(. Dus dit berichtje is mede mogelijk gemaakt door Vodafone (HSDPA). ;-).
Nee alles is hier nog steeds down, ik zit even terug te kijken naar onze monitor stats en de eerste servers waren om 13.27 uur down dit is dus inmiddels alweer 2 uur downtime.
Waarom is er van de dDos niets terug te zien in het traffic overzicht op de noc pagina?
previous day staat er bij
Het is erg irritant... Maar niks aan te doen. Hoop wel op een duidelijke, juiste verklaring. Moest iets van een server hebben waar ik nu niet bij kan...
Inmeso ligt ook helemaal plat. Mijn server in ESW bijgevolg ook.
Ook ik heb last van onbereikbaarheid sinds circa 14:00. Aantal keren leek het gefixed te zijn, echter na 10 minuten~ lag het elke keer weer plat.
Telefoonsupport krijg ik ook niet aan de lijn, via hier het bericht gelezen over DDOS.
Inderdaad. Inmeso ook niet telefonisch te bereiken, en bereikbaarheid van mijn server fluctueert. Hopen dat het snel opgelost is..
Is er iemand die stabiele toegang heeft tot de aanmeld pagina? Ik kwam er nu wel in, alleen dan weer een time-out tijdens de submit. :(
Swiftway-UK
24/09/08, 16:44
Waarom is er van de dDos niets terug te zien in het traffic overzicht op de noc pagina?
Omdat de grafiek altijd van een aantal dagen terug is volgens mij, het is niet realtime. Althans, dat was een tijd terug het geval.
Hier werkt alles weer!! De website van evoswitch en leaseweb zijn niet te bereiken, maar mijn rack is weer bereikbaar
Nog steeds niet.
Ik dacht eerst dat het aan m'n internetverbinding lag, omdat zelfs mijn startpagina (google.com) plat lag. Mijn websites iig nog niet bereikbaar. Zucht.
Inmiddels (tijdelijk) weer in de lucht..
En ook terug in de lucht.
EvoSwitch/Hal 1: Hier alles ook weer online, behalve leaseweb.com/evoswitch.com (die het daarnet nog dezen). Misschien een dDos op hun eigen sites?
EvoSwitch/Hal 1: Hier alles ook weer online, behalve leaseweb.com/evoswitch.com (die het daarnet nog dezen). Misschien een dDos op hun eigen sites?
leaseweb.com is hier online.
Hier ook leaseweb.com online, maar mijn dedicated server ligt alweer paar minuten plat. Komt soms ook maar 5-20 sec terug.
edit
Nu weer terug, nu hopen dat het zo blijft
Wij zijn ook weer online.. (Easynet) was even zweten zeg …
Arjen @ ARKOis
24/09/08, 17:06
Wij zijn ook online, hopen dat het stabiel blijft.
Wij werden gebeld door Jeroen van lsw dit even ging uitleggen dat ze een storing hadden, haha ik zei dat ik die conclusie al getrokken had :-) Maar volgens hem kwam het allemaal goed... voorlopig draait het meeste hier weer, nog een enkele server die niet wil...
EDIT: alleen de servers in SBF zijn nog steeds down...
Wij werden gebeld door Jeroen van lsw dit even ging uitleggen dat ze een storing hadden, haha ik zei dat ik die conclusie al getrokken had :-) Maar volgens hem kwam het allemaal goed... voorlopig draait het meeste hier weer, nog een enkele server die niet wil...
EDIT: alleen de servers in SBF zijn nog steeds down...
En schaam jij je niet als je terugleest hoe je tekeer gegaan bent ?
Nee, ik ga nog wel eens erger tegen ze te keer aan de telefoon. De boel dient gewoon fatsoenlijk te functioneren. Andere partijen kunnen dit wel waarborgen dus moet lsw maar is wat beter hun best doen.
Het feit dat ze mij bellen verbaasd me ook eigenlijk niks ik heb onlangs een gesprek gehad daar omdat ze mij als klant willen behouden. Maar goed ik heb toen al aangegeven dat het vertrouwen ver te zoeken is en dit soort dingen doen er geen goed aan.
Maar we zijn weer iets nader tot elkaar gekomen dat was de positieve kant van het verhaal.
EDIT: als jij om de haverklap down bent om welke reden dan ook dan accepteren jou klanten dit toch ook niet? Die verwachten toch gewoon dat een dienst die ze afnemen functioneert?
@Rob: ik heb die vraag omtrent het 0 routen aan ze gesteld hoor en hierop krijg ik nog antwoord...
Nee, ik ga nog wel eens erger tegen ze te keer aan de telefoon. De boel dient gewoon fatsoenlijk te functioneren. Andere partijen kunnen dit wel waarborgen dus moet lsw maar is wat beter hun best doen.
Wat voor SLA heb jij op je verbinding zitten? Dit is de eerste echte downtime die wij dit jaar hebben, en deze maand staat (volgens de uptime monitor van WHT) op 99,956 wat ruim boven de SLA is die we hebben!
En schaam jij je niet als je terugleest hoe je tekeer gegaan bent ?
Mike, s.v.p. on-topic. Dit soort discussies horen niet in dit topic thuis. Dat geldt uiteraard voor iedereen.
hier is alles wel weer up, maar ik merk dat er nog wel enige vertraging is, in ping wel te verstaan.
De pingtijden waren altijd 8ms constant en zijn nu 35-40ms. Op zich voor de meeste toepassingen (webhosting e.d.) geen drama, maar met gameservers en veel buitenlandse spelers (die al een hoge ping hebben) niet echt prettig.
Bijvoorbeeld:
1 lokaal
2 8 ms 8 ms 8 ms 195.190.241.2
3 8 ms 13 ms 8 ms iawxsrt-dc2-bb21-ge-5-2-0.72.wxs.nl [213.75.1.9]
4 17 ms 8 ms 8 ms iawxsrt-dc2-bb21-ge-5-2-0.72.wxs.nl [213.75.1.9]
5 9 ms 9 ms 9 ms 20ge-chnl.amsix.tc2.leaseweb.net [195.69.144.215]
6 35 ms 35 ms 38 ms te5-2.sr1.evo.leaseweb.net [85.17.129.254]
7 40 ms 40 ms 40 ms spawned-by.projectfrag.com [85.17.177.9]
Vanuit een server in globalswitch merk ik hetzelfde:
--- 85.17.177.9 ping statistics ---
111 packets transmitted, 111 received, 0% packet loss, time 109982ms
rtt min/avg/max/mdev = 22.476/30.792/46.933/2.864 ms
Heeft iemand anders hetzelfde probleem?
MoehMan
Hier lijkt alles weer normaal te zijn. Latency zo'n 8ms zowel naar EVO als Easynet vanaf de DSL verbinding hier. En Leaseweb meldt op noc.leaseweb.com dat ze met nog wat meer informatie komen. Het is volgens mij best een grote DDoS geweest ;-). Misschien moeten we maar komen met een DDoS schaal, net zoals bij stormen en tornado's. Van klasse 1: latency verhoogt met 10ms tot klasse 5: geen enkel pakket komt nog aan en de CPU in de routers van de ISP smelten :-)
Nou hier blijf ik monitor berichten binnen krijgen, de ping tijden varieren van 20ms tot ruim 600ms op dit moment. Dus het is nog niet helemaal over gewaaid...
Maar ik heb inmiddels vernomen dat er binnen nu en een aantal maanden een systeempje komt wat deze aanvallen gaat afvangen om het zo maar te omschrijven.
Pingen naar 85.17.177.9 met 32 bytes aan gegevens:
Antwoord van 85.17.177.9: bytes=32 tijd=20 ms TTL=118
Antwoord van 85.17.177.9: bytes=32 tijd=16 ms TTL=118
Antwoord van 85.17.177.9: bytes=32 tijd=18 ms TTL=118
Antwoord van 85.17.177.9: bytes=32 tijd=21 ms TTL=118
Normaal gesproken heb ik 8 ms
Traceroute vanaf hier:
1 2 ms 1 ms 1 ms 192.168.10.1
2 5 ms 7 ms 5 ms 10.193.192.1
3 7 ms 7 ms 11 ms csw1-vlan201.dbsch1.nb.home.nl [213.51.152.193]
4 9 ms 9 ms 14 ms csw2-vlan200.dbsch1.nb.home.nl [213.51.152.57]
5 7 ms 7 ms 7 ms tb-rc0001-cr101-ae5-0.core.as9143.net [213.51.15
8.94]
6 9 ms 9 ms 9 ms bb1-ae1-0.amsix-nikhef.home.nl [213.51.158.18]
7 9 ms 9 ms 10 ms link-to-athome.openpeering.nl [213.51.158.134]
8 9 ms 10 ms 10 ms openpeering.private.leaseweb.net [82.150.153.62]
9 36 ms 19 ms 17 ms te3-4.peering.evo.leaseweb.net [85.17.100.209]
10 18 ms 19 ms 17 ms te4-4.sr1.evo.leaseweb.net [85.17.100.214]
11 18 ms 19 ms 19 ms spawned-by.projectfrag.com [85.17.177.9]
[UPDATE 17:55]
As we were approaching the final solution of he problem, our netwerk experienced another stress attack. We are facing a more complex set of issues now. Although large parts of our network seems stable, we see packetloss and high latency in some parts of our network. Again, we apologize and keep you updated on our progress on this site.
bron: http://89.238.146.98/status.php?i=221
Afgezien dat het wel eerlijk is, maak ik me wel zorgen indien een "professionele" organisatie zoiets roept.
Het lijkt mij dat een partij als Ocom (het moederbedrijf van LeaseWeb, EvoSwitch en FiberRing) toch wel telefoon nummers van hun peering/transit leveranciers heeft en even verzoekt om back te tracen en bepaald verkeer richting hun te null-routen.
Overigens laat grafiek een DIP zien.
http://89.238.146.98/alltraffic.png
bron: http://89.238.146.98/status.php?i=221
Afgezien dat het wel eerlijk is, maak ik me wel zorgen indien een "professionele" organisatie zoiets roept.
Het lijkt mij dat een partij als Ocom (het moederbedrijf van LeaseWeb, EvoSwitch en FiberRing) toch wel telefoon nummers van hun peering/transit leveranciers heeft en even verzoekt om back te tracen en bepaald verkeer richting hun te null-routen.
Overigens laat grafiek een DIP zien.
http://89.238.146.98/alltraffic.png
De traffic van gisteren laat inderdaad een piek zien, maar dat voegt weinig toe aan dit verhaal ot:
[UPDATE 19:10]
We have been closely monitoring the network for some hours now and everything is stable again. We are still investigating the root cause of today's problems. We will keep monitoring the network closely for the next hours. We will give an update as soon as more information is available.
[UPDATE 19:10]
We have been closely monitoring the network for some hours now and everything is stable again. We are still investigating the root cause of today's problems. We will keep monitoring the network closely for the next hours. We will give an update as soon as more information is available.
Tsja, ik wil ze niet teleurstellen, maar mijn ping is nog steeds 'relatief hoog'*.
* Tsja, 40 milliseconden naar amsterdam, waar hebben we het eigenlijk over he? :)
MoehMan
EDIT: en 1% packetloss (vanaf verschillende locaties).
Mijn server in SBP is nog steeds offline. Ongeduldig als ik was heb ik al een reboot gegeven via APC maar helaas geen resultaat.
Ik begin me nu sterk af te vragen of dit nog met de storing te maken heeft. Kan natuurlijk zijn dat de server toevallig vandaag de geest heeft gegeven.
Wanneer ik overigens de hele range ping zijn daar relatief veel servers offline
Mijn server in SBP is nog steeds offline. Ongeduldig als ik was heb ik al een reboot gegeven via APC maar helaas geen resultaat.
Ik begin me nu sterk af te vragen of dit nog met de storing te maken heeft. Kan natuurlijk zijn dat de server toevallig vandaag de geest heeft gegeven.
Wanneer ik overigens de hele range ping zijn daar relatief veel servers offline
Het lijkt me sterk dat dit nog met de storing te maken heeft, Het grootste deel is online. Ik denk dat je beter nog even kunt afwachten, en anders wordt het denk ik een ritje naar het datacenter.
ferrybouwman
24/09/08, 23:13
Ik vond het een raar verhaal vanmiddag. De situatie leek op meerdere momenten opgelost te zijn, maar vaak was de hele handel 10 minuten later weer down.
Ook vreemd dat Leaseweb het op NOC eerst had over een dDos terwijl ze het nu steeds meer gooien op een 'Unstable network'. Toch raar.
Ik heb eigenlijk alleen maar goede ervaringen gehad met Leaseweb en sinds wij in EVO hangen hebben wij nog nooit klachten gehad. Ik zou even hun berichten afwachten voordat je ze uitmaakt als leugenaar
Ik heb geen zin om hier publiekelijk mijn ongenoegen kenbaar te maken. Wel heb ik behoorlijk wat vragen over deze gang van zaken van vandaag, die ik ook per mail aan LeaseWeb heb gesteld.
Het ergste van alles vind ik wel dat wij onze klanten informeren over een Ddos die er nu volgens de informatie op de NOC site van LSW blijkbaar nooit is geweest.
Swiftway-UK
25/09/08, 01:41
Het lijkt mij dat een partij als Ocom (het moederbedrijf van LeaseWeb, EvoSwitch en FiberRing) toch wel telefoon nummers van hun peering/transit leveranciers heeft en even verzoekt om back te tracen en bepaald verkeer richting hun te null-routen.
Dit is niet mogelijk, aangezien een DDOS zowat altijd voorzien is van IP spoofing. De meeste carriers kunnen (en willen) ook niet filteren, maar hooguit het getroffen (aangevallen) IP adres nullrouten.
Indien een DDOS gericht is op het netwerk zelf en niet op een specifieke klant, dan 'hopt' de aanvaller gewoon van doelwit IP naar IP.
zou het probleem nou opgelost moeten zijn bij LSW? Ik kan mijn server nog steeds niet bereiken.
AW-Hosting
25/09/08, 09:49
zou het probleem nou opgelost moeten zijn bij LSW? Ik kan mijn server nog steeds niet bereiken.
Volgens de NOC van LSW wel, en aangezien iedereen op dit forum sinds gisterenavond ook weer bereikbaar is, zou ik zsm contact opnemen met je (colocatie)leverancier en vragen wat er aan de hand is. Dit lijkt meer op een probleem dat bij je leverancier / je eigen hardware ligt.
Ik kan onze server ook nog steeds niet bereiken. Gemaild met LSW, het zal worden nagekeken door technical support. Sinds gistermiddag rond 14:00 uur ligt onze site er nu uit. Tot een uur of 15:00 kon er zo nu en dan nog even worden ingelogd, maar daarna is ie geen moment meer online geweest.
dutchcrazytiger
25/09/08, 15:12
Ik ben direct client bij leaseweb en neem daar bijna 2Gbit aan dedicated servers af voor een aantal van mijn sites... en die liggen er nu al 48 uur uit...... Ik word er stiekem een beetje moedeloos van. Mijn servers liggen eruit dus ook mijn inkomsten en er word eigenlijk niets aangedaan om het op te lossen. Had ik toch maar mn servers laten staan bij Eweka.... Die waren tenminste bereid me te helpen in plaats van een nummertje te trekken en het maar domweg uit te gaan zitten wachten totdat ze met een oplossingetje komen.
Weet iemand of een partij als leaseweb hiervoor aansprakelijk te stellen is, want het lijkt mij dat dit geen overmacht is. Dit is naar mijn mening nalatigheid. Wil echter wel weten hoe mensen hier over denken.
update - ETA leaseweb, meneer het kan tot max 96 uur duren. Hmmm...
knip...
update - ETA leaseweb, meneer het kan tot max 96 uur duren. Hmmm...
Heb je een SLA? Nee? Dan krijg je waar je voor betaald...
En wat let je om een andere provider te zoeken?
Er zijn genoeg andere aanbieders op de markt.
Ik ben direct client bij leaseweb en neem daar bijna 2Gbit aan dedicated servers af voor een aantal van mijn sites... en die liggen er nu al 48 uur uit...... Ik word er stiekem een beetje moedeloos van. Mijn servers liggen eruit dus ook mijn inkomsten en er word eigenlijk niets aangedaan om het op te lossen. Had ik toch maar mn servers laten staan bij Eweka.... Die waren tenminste bereid me te helpen in plaats van een nummertje te trekken en het maar domweg uit te gaan zitten wachten totdat ze met een oplossingetje komen.
Weet iemand of een partij als leaseweb hiervoor aansprakelijk te stellen is, want het lijkt mij dat dit geen overmacht is. Dit is naar mijn mening nalatigheid. Wil echter wel weten hoe mensen hier over denken.
update - ETA leaseweb, meneer het kan tot max 96 uur duren. Hmmm...
De storing heeft maximaal maar 8 uurtjes geduurd hoor.. dus ik denk dat jou problemen niet inverband zijn met de "storing" die er aan het netwerk was..
Wij nemen aardig wat racks af en hier werkt alles weer dus het ziet er naaruit dat er nog een andere storing was welke eerder al optrad.
Ook begrijp ik niet waarom je niet iets van een SLA met LSW had afgesloten.. als het zo belangrijk is dan doe je dat toch..
dutchcrazytiger
25/09/08, 15:41
Ja het is met SLA, en daar staat in dat "overmacht" situaties dus binnen 96 uur worden opgelost... terwijl netwerkstoringen binnen 4 uur opgelost zouden moeten worden. Dus ja...
Ja het is met SLA, en daar staat in dat "overmacht" situaties dus binnen 96 uur worden opgelost... terwijl netwerkstoringen binnen 4 uur opgelost zouden moeten worden. Dus ja...
neem aan dat ze ook vertellen om welke vorm van overmacht ze het nu hebben, of laat je je afschepen "we hebben nu overmacht ?"
Ja het is met SLA, en daar staat in dat "overmacht" situaties dus binnen 96 uur worden opgelost... terwijl netwerkstoringen binnen 4 uur opgelost zouden moeten worden. Dus ja...
De standaard LSW SLAtjes dus.. Ik hoop voor je dat ze het snel oplossen maar hun kennende kan het eventjes duren..
Wel raar dat een netwerkprobleem ook ervoor kan zorgen dat een server helemaal niet meer reageert..
Bakker ICT
25/09/08, 16:32
Heb je een SLA? Nee? Dan krijg je waar je voor betaald...
En wat let je om een andere provider te zoeken?
Er zijn genoeg andere aanbieders op de markt.
Het lijkt me onzin dat ze dat zo zeggen, van het kan max 96 uur duren. Schandalig als dat zo zou zijn, anders bel je ze gewoon even op. LSW is zich er zeker van bewust dat ze zoiets niet kunnen maken.
Mijn laatste dedi afgelopen maand gestopt, maar altijd bij problemen super snel en correct geholpen. En met colo ben ik ook tevreden, helaas van gisteren natuurlijk ;)
Het lijkt me onzin dat ze dat zo zeggen, van het kan max 96 uur duren. Schandalig als dat zo zou zijn, anders bel je ze gewoon even op. LSW is zich er zeker van bewust dat ze zoiets niet kunnen maken.
Mijn laatste dedi afgelopen maand gestopt, maar altijd bij problemen super snel en correct geholpen. En met colo ben ik ook tevreden, helaas van gisteren natuurlijk ;)
Tuurlijk is het schandalig als dat zo is, maar wat wil je er tegen doen?
Je hebt geen SLA en in principe dus geen poot om op te staan.
Bakker ICT
25/09/08, 16:41
Tuurlijk is het schandalig als dat zo is, maar wat wil je er tegen doen?
Je hebt geen SLA en in principe dus geen poot om op te staan.
Het is je eigen risico, maar ik kan me nauwelijks voorstellen dat LSW zoiets doet en zegt. Daarom zeg ik, bel ze gewoon op. Geen enkel bedrijf kan zich zoiets permiteren dat snappen ze zelf ook wel. En blijf gewoon hangen / eisen dat ze direct helpen. Overigens bij een ded en helemaal bij meerdere deds heb je een stukje gratis support. Netwerksupport, reboots etc. Deze kan je gewoon eisen.
Maar goed, volgens mij ga ik lekker OT, ik heb alleen tussen half 3 en half 4 wat downtime gehad.
Aangekondigd onderhoud bij LSW:
http://89.238.146.98/maintenance.php?i=148
---
Emergency maintenance Ring3
Start: Fri 26 Sep 2008 03:30
End: Fri 26 Sep 2008 06:00
Dear customer,
As a precaution we will preform some emergency maintenances. This maintenance is needed to update the software running on our ring 3 routers. This ring is used mainly for bulk traffic between our hops. Following the problems we had yesterday we will upgrade to a new version of IOS. Impact to customers should be minimal as traffic will directed to our other rings. Customers can see packetloss at the moment of reboot and after reboot has finished. The reboot is needed on the following locations:
Easynet
Schuberg Philis
EvoSwitch
Telecity Redbus
Telecity 2
Nikhef
The software update is also needed so we can migrate ring 3 to mpls. This migration is scheduled for next week and details will be posted when we have the schedule ready.
We are currently still investigating all issues we had yesterday.
Leaseweb Update
Dear customer,
as you might or might not have noticed, there were some network issues at Leaseweb on Wednesday, September 24. Unfortunately, this affected our phone system as well, so for a period of time you could not reach our support.
We apologize sincerely for any inconvenience you might have experienced from this.
Currently we are still investigating the causes in detail. With this newsletter we would like to inform you about the current state of these investigations:
Starting 13:20 CET and continuing through the afternoon, we experienced some severe DDoS attacks on several IPs. The heavy load continued even after null routing the affected IPs. This was caused by multiple blade failures in one of our datacenters in combination with software errors.
At around 16:00 CET the network was stable again but got under a new stress attack right away. The connection between EVO and other parts of our network still experienced some package losses. We could keep the effect mostly local, so the overall network remained stable. At 19:00 everything was finally totally contained.
In summary, we can only say for sure at this stage that the instability was due to some combination of the DDoS attacks and hardware and software issues which were most likely caused or at least accelerated by the DDoS.
As the problems fluctuated and we took countermeasures right away, not all servers were affected and even the ones that were mostly only experienced very limited outages.
Nevertheless and again, we apologize for the trouble you have had with connectivity, your servers, websites and customers.
Please note that we will update the software on Ring 3 tonight as a precautionary measure. (This will also be announced separately on the NOC site.)
For the future, we already started taking precautions for similar issues several weeks ago: we have been working on redesigning our network setup for two new Cisco CRS-1 Backbone Core routers. This top notch technology will reduce the potential points of failure and enable us to react even faster to network issues. Furthermore, we have been redesigning our telephone system with redundancy capacities. It will go online in a few days, so you will be able to reach us in such cases of emergency and we can deliver the usual good Leaseweb service.
On this as well as the current issues we will keep you updated. Especially for the latter, please also check for news on our NOC (Network Operations Center) site at http://noc.leaseweb.com/ where we always announce important network issues.
We would also like to remind you on this occasion on the ways to contact our support. For any issues, please feel free to contact us at +31 20 3162880 via phone or support@leaseweb.com via email. Please do so especially if you are still experiencing problems with relation to Wednesday’s issues.
Best regards
The Leaseweb B.V. Management
Bakker ICT
25/09/08, 17:52
Nette berichtgeving, overigens krijg ik geen mails meer vanuit het NOC ? Meer mensen hier last van?
rensariens
25/09/08, 17:57
Komt hierdoor Bakker ICT:
Content analysis details: (5.9 points, 4.0 required)
pts rule name description
---- ---------------------- --------------------------------------------------
3.9 HELO_LOCALHOST HELO_LOCALHOST
0.0 BAYES_50 BODY: Bayesian spam probability is 40 to 60%
[score: 0.4537]
3.0 RCVD_IN_XBL RBL: Received via a relay in Spamhaus XBL
[89.238.146.98 listed in zen.spamhaus.org]
-1.1 AWL AWL: From: address is in the auto white-list
Komt ook boven mijn trashold uit.
Dit zou niet meer voor moeten komen, volgens Spamhaus staat het IP niet in de lijsten.
Volgens mij zijn er weer problemen. Kon eerst mijn eigen sites niet goed benaderen en nu ook leaseweb.com niet meer (vanaf zowel upc als reasonnet netwerk)
Bakker ICT
25/09/08, 20:15
Hier nog niets van te merken... laten we het zo houden :)
http://www.webhostingtalk.nl/quicktest.php?action=result&qtid=169226&r=1183
Vaak gaan ze allemaal goed, soms allemaal fout en vaak een paar fout.
[update 03:13]
We will start with at 3:30 with rebooting easynet.
[update 03:58]
reboot of easynet has finished schuberg philis is rebooting now.
[update 04:09]
we will now reboot telecity 2.
[update 04:20]
we will now reboot nikhef.
[update 04:26]
we will now reboot telecity redbus.
[update 04:34]
we will reboot evoswitch next. this will be done within the next 1/2 hour.
[update 04:54]
all reboots are done maintenance is closed.
Bron: http://noc.leaseweb.com/maintenance.php?i=155
Zo en dat is ook weer gebeurd.. Hier geen meldingen binnengehad dus het is zo te zien zonder downtime gegaan...
Zo en dat is ook weer gebeurd.. Hier geen meldingen binnengehad dus het is zo te zien zonder downtime gegaan...
Ze hebben lang genoeg gehad om te oefenen :thumbdown:
Storing opgelost, topic dicht.