Onderwerp: Amazon AWS down en met hun vele bekende blogs/sites. 'The Cloud' faalt?

Oorspronkelijk geplaatst door Vanderblom

Ik zie steeds vaker dat bedrijven (nederlandse) die hun webservices hebben gehost bij Amazon EC.
Kan iemand mij vertellen waarom bedrijven die doen bij Amazon ? Ik doel meer op het niet gebruik van de clouddiensten die in nederland worden aangeboden.
Als ik bijv. een ping doe naar de desbetreffende site doet deze ping er 8 tot 9 keer langer over, uitgaande van 10 als factor.
Met een tracert kom ik vaak verder als Dublin en gaat hij gewoon richting Amerika.

Ik bedoel, wat is het voordeel nou ?
Dan speelt kosten toch wel als belangrijkste... ?

Je weet wat de prijzen zijn van deze diensten van Amazon?

En mobypicture is wel 100% Nederlands maar bediend de internationale markt dus de keus is niet zo moeilijk te verdedigen. Lees anders ook eens wat de founder Mathys van Abbe er zelf over zegt.

As of today around 10 am (CET), Mobypicture has been down because Amazon Web Services is experiencing problems with connectivity in some of their Availability Zones, amongst the one hosting our servers.

Besides taking us down with them, also Foursquare, Reddit, Quora and many other services are down or experiencing heavy troubles.

Read more:
Mashable
Techcrunch

You can follow our tweets to stay informed or keep an eye on http://mobypicture.com or our status page.

Sorry for the inconvenience. We’re aware of the implications of relying on cloud services and are designing a more redundant way to ensure our up time.
Hosting companies can stop emailing us with propositions. We love Amazon and their services and because of their scalable proposition we’ve been able to grow lean and mean. We trust in a prompt recovery.

We’ll keep you updated. Hold your Mobys

Update 21:21
After hours of hard work we managed to get back online with a series of workarounds, Amazon AWS is still having severe issues with an ETA of several hours.

We changed key elements of our infrastructure and are running on a degraded setup of our database servers at the moment, expect degraded performance for the next couple of hours. We will monitor everything closely until all issues are resolved. We are truly sorry for not being there today.

Update #2: Our workarounds
Because most of the troubles originated from EBS and all our database servers run on multiple EBS blocks in a RAID configuration, we were hit the hardest in that area. Luckily one of our slave database servers survived, which we then promoted to one of the masters. Starting new EBS backed instances was at that time still impossible. We started non-EBS backed instances which we must replace with the faster EBS backed when all troubles are over.

At that time we were running in a development environment on a platform with degraded performance, with one big issue: ELB, our loadbalancer, was still offline. We were luckily already using our own loadbalancing solution HAproxy, to handle API connections and we migrated our webserver architecture to that as well.

So at the moment we are not as scalable as we would like to be and have a slight degraded performance, mostly noticable on our MobyNow platforms, but are running smoothly since 21:00 hours CET yesterday. We expect to upgrade to full performance somewhere today and add our scalability when all AWS issues are resolved.

bron: http://mathys.vanabbe.com/thunder-in-the-cloud/

En dan vooral dit.

Hosting companies can stop emailing us with propositions. We love Amazon and their services and because of their scalable proposition we’ve been able to grow lean and mean. We trust in a prompt recovery.

Even een kleine sidenote.

Het volgende komt van de persoonlijke blog van de huidige CTO van mobypicture, Timan Rebel (oprichter van sugababes). Lees http://rebelic.nl/koopt-nederlandsch...en-wij-elkaar/
En dan vooral het volgende stukje:

Ik wil dan ook oproepen tot een vernieuwd oppakken van de slogan "Koopt Nederlandsche waar, dan helpen wij elkaar!". Ik ga voortaan zoveel mogelijk Nederlandse alternatieven gebruiken. Bijvoorbeeld Feest.je om in te checken (en dankzij de integratie met Foursquare merk ik daar niets van), behoud ik mijn Hyves profiel, ga ik nogmaals Soocial testen om mijn contacten te synchroniseren en ga ik kijken of ik met E echt zonder papieren visitekaartjes leven kan en puur kan werken met mijn digitale variant. We gebruiken op kantoor al Versions en Kaleidoscope van het Amsterdamse MadeBySofa, check ik Twitter Counter regelmatig voor mijn Twitter stats en natuurlijk prefereer ik Mobypicture al boven Twitpic, Yfrog en Instagram .

Of de start-ups nu slechter of beter zijn, ik ken genoeg Amerikanen die altijd kiezen voor de Amerikaanse variant. Als wij Nederlanders de producten van eigen bodem al niet gebruiken, waarom zou een buitenlander dan wel onze producten boven de eventuele lokale variant verkiezen?

Uiteindelijk worden we er samen beter van. Doen jullie mee?

Nou Timan, vanwaar geen Nederlandse hoster gekozen?

Spreken de CEO en CTO elkaar dan niet tegen?

Oorspronkelijk geplaatst door Domenico

Even een kleine sidenote.

Het volgende komt van de persoonlijke blog van de huidige CTO van mobypicture, Timan Rebel (oprichter van sugababes). Lees http://rebelic.nl/koopt-nederlandsch...en-wij-elkaar/
En dan vooral het volgende stukje:

Nou Timan Rebel, vanwaar geen Nederlandse hoster gekozen?

Heel simpel, er is momenteel geen Nederlandse hoster die de level van redundancy, scaling en diensten kan aanbieden zoals Amazon AWS dat doet. Ik sprak hier toevallig vorige week met True nog over. Wij gebruiken verschillende auto-scaling methodes, zowel automatisch aan de hand van load op de servers als dynamisch vanuit onze applicatie via de API's van AWS als we weten dat er extra load aan gaat komen. Even via een API 20 instances met 2 cores en 2Gb geheugen opstarten zit er gewoon niet zomaar in bij andere partijen. Iets wat wij wel nodig hebben.

Oorspronkelijk geplaatst door Vanderblom

Ik zie steeds vaker dat bedrijven (nederlandse) die hun webservices hebben gehost bij Amazon EC.
Kan iemand mij vertellen waarom bedrijven die doen bij Amazon ? Ik doel meer op het niet gebruik van de clouddiensten die in nederland worden aangeboden.
Als ik bijv. een ping doe naar de desbetreffende site doet deze ping er 8 tot 9 keer langer over, uitgaande van 10 als factor.
Met een tracert kom ik vaak verder als Dublin en gaat hij gewoon richting Amerika.

Wij draaien onze webservers (en database-, file-, caching-, etc) vanuit US-EAST omdat wij op die manier de US, Europe en Asia kunnen bedienen met een acceptabele latency. US en Azie zijn bij ons groter dan enkel Nederland.

Bedenk wel, door het inzetten van het Cloudfront CDN serveren wij enkel de php vanuit Amerika en de images en static files zoveel mogelijk lokaal (in het geval van Nederland uit Amsterdam). De laadtijden worden daardoor wel een stuk beter dan door enkel uit de US te serveren. Ook Route 53, de AWS DNS dienst draait vanaf 29 nodes en wordt lokaal geserveerd. Slechts 1 request komt uit de US, de rest dus niet.

Oorspronkelijk geplaatst door Stewie

Amazon geeft daarbij minimale support - je moet gewoon wachten tot je ticket is geupdate.

Dat is niet geheel waar. Je hebt Premium Support (http://aws.amazon.com/premiumsupport/) waarbij ze echt een heel stuk verder gaan. Je kunt ervoor kiezen het af te nemen, wij doen dat momenteel niet.

Op http://agilesysadmin.net/ec2-outage-lessons staat een mooi stuk over de inzet van AWS en hoe je daar goed mee om kan gaan. Wij draaiden bijvoorbeeld nog niet in meerdere Availability Zones, iets wat we nu zeker gaan doen. We kijken naar Master-Master opstellingen voor MySQL, zodat we ook zoals gister volledige database servers mee kunnen verliezen. (We raakten er gister 2 van de 3 kwijt).

De problemen met Amazon AWS gister zijn zeer zeldzaam. De laatste keer dat wij wat gemerkt hebben van problemen was halverwege 2009. Zonder AWS hadden we momenteel niet gestaan waar we nu staan en zijn nog steeds heel erg blij met de infrastructuur.

PS.

Oorspronkelijk geplaatst door Stewie

Spreken de CEO en CTO elkaar dan niet tegen?

De blogpost van onze CEO Mathys is gedeeltelijk ook door mij geschreven

Hoi Timan,

Welkom en bedankt voor je heldere uitleg. Het gebeurd niet vaak dat een startup (als we jullie nog een startup mogen noemen) zoals jullie uitleg geeft van zaken over hoe bijvoorbeeld de hosting infrastructuur/architectuur (een beetje) in elkaar zit. Mijn ervaring is dat hier over het algemeen noagal geheimzinnig over gedaan word wat ik voor een groot deel wel kan begrijpen. Iig bedankt voor je openheid en tijd om dit hier te delen met ons.

Je geeft zelf ook al antwoord op een van de vragen in deze discussie. Waarom niet geopteerd voor meerdere availability zones zoals Amazon die kan leveren.

Wij draaiden bijvoorbeeld nog niet in meerdere Availability Zones, iets wat we nu zeker gaan doen. We kijken naar Master-Master opstellingen voor MySQL, zodat we ook zoals gister volledige database servers mee kunnen verliezen. (We raakten er gister 2 van de 3 kwijt).

Dit is ongetwijfeld een budgetaire keuze geweest en enigzins ook wel begrijpelijk. Goed om te horen dat jullie vanaf nu voor die extra mile gaan en in mijn ogen is er dan ook nog geen kalf verdronken. Succes!

EDIT: Ik hoop dat andere hosters hier ook willen reageren en dan vooral op de stelling dat er geen enkele hoster in Nederland zoals Timan al zei het level van redundancy, scaling en diensten kan aanbieden zoals Amazon dat op dit moment kan. Ik ben benieuwd naar de reacties.

Oorspronkelijk geplaatst door Apoc

Voor de wereld is het niet erg, maar uit het oogpunt van zo'n bedrijf wel. In een paar uurtjes kunnen zij tonnen aan advertentieinkomsten mislopen en andere vormen van schade oplopen. De behoefte naar 100% uptime is er, dat lijkt me duidelijk.

Ik vind dat Amazon zeker zou moeten overwegen om dit soort replicatie standaard aan te bieden - met de prijzen die ze hanteren zou het zeker moeten kunnen. Althans.. asynchrone datareplicatie (waarbij er dus een kleine data rollback zou kunnen zijn, en belangrijke databases zouden afzonderlijk synchroon gerepliceerd kunnen worden). Er zouden natuurlijk wel gigantische hoeveelheden data gerepliceerd moeten worden, maar op de schaal waarop Amazon opereert zou het toch makkelijk mogelijk moeten zijn om tegen (relatief) lage tarieven eigen 10GBPS of zelfs 100GBPS VLANs aan te leggen tussen de verschillende locaties.

Andre, ja natuurlijk maar het blijft een formule die je zou moeten hanteren, kosten/baten. Netflix bijvoorbeeld is gewoon up gebleven en dat komt omdat het voor hun wel belangrijk is en dus het 'uitgebreide pakket' afnemen.

"Netflix showed some increased latency, internal alarms went off but hasn't had a service outage." [1]
"Netflix is deployed in three zones, sized to lose one and keep going. Cheaper than cost of being down." [2]
[1] https://twitter.com/adrianco/status/61075904847282177
[2] https://twitter.com/adrianco/status/61076362680745984

Lees ook: http://perfcap.blogspot.com/

Verder heb je wel een punt Andre maar ik zie het als Amazon budget en Amazon premium waar premium je meerdere availabilty zones geeft. Ja alles heeft zijn prijs, ook redundancy.

Hoe wij het zelf met onze private clouds ervaren is dat er een groot budget benodigd is om een dergelijk systeem op te zetten wat amazon aanbied (en de schaal waar op). Je zult dik moeten investeren om diversen clouds op te zetten binnen nederland en buiten nederland, enkel de hardware zal al flink oplopen, dan nog te zwijgen over de software om alles te kunnen beheren. Onze clouds groeien stap voor stap op weg naar de juiste richting, stroom versnelling zou goed zijn maar er hangen te veel factoren vanaf. Grotere partijen kunnen dit naar mijn mening veel sneller realiseren en opzetten wanneer je naar het aantal medewerkers, kennis en kapitaal kijkt.

Daarnaast is nederland te klein in mijn ogen om enkele clouds te kunnen faciliteren om geografisch redelijk onafhankelijk te kunnen zijn, het zit te dicht op elkaar! Alternatieven zijn er zeker wel, locaties welke in aanmerking zouden kunnen komen zijn amsterdam/rotterdam/almere, daarnaast london en frankfurt.

Grootste probleem wat je zal hebben zijn latency issues tussen je clouds, hier moet je sterk rekening mee houden en goed incalculeren (de positie van je clouds). Vang je dit niet af, dan heb je al geen kans van slagen meer...

Oorspronkelijk geplaatst door Domenico

Welkom en bedankt voor je heldere uitleg. Het gebeurd niet vaak dat een startup (als we jullie nog een startup mogen noemen) zoals jullie uitleg geeft van zaken over hoe bijvoorbeeld de hosting infrastructuur (een beetje) in elkaar zit. Mijn ervaring is dat hier over het algemeen noagal geheimzinnig over gedaan word wat ik voor een groot deel wel kan begrijpen. Iig bedankt voor je openheid en tijd om dit hier te delen met ons.

Uiteindelijk is het kennis die wij ook opgedaan hebben dankzij blogposts van en gesprekken met anderen. Daarom delen wij die kennis ook weer. Er zijn dingen die we niet delen, omdat die ons een 'technical advantage' geven, maar dat zit meer in onze code dan in onze architectuur.

Oorspronkelijk geplaatst door Domenico

Je geeft zelf ook al antwoord op een van de vragen in deze discussie. Waarom niet geopteerd voor meerdere availability zones zoals Amazon die kan leveren.

Dit is ongetwijfeld een budgetaire keuze geweest en enigzins ook wel begrijpelijk. Goed om te horen dat jullie vanaf nu voor die extra mile gaan en in mijn ogen is er dan ook nog geen kalf verdronken. Succes!

Nou, nee het heeft niets met budgetaire redenen te maken eigenlijk. Of wij nu 12 webservers draaien in 1 AZ of in 4, dat maakt niet uit. ELB kan, samen met de auto-scaler, prima instances opstarten in meerdere AZ. Wij gingen er echter onterecht van uit dat er meer latency tussen AZ's zou zitten, dan binnen 1 AZ. Dat blijkt vrijwel te verwaarlozen te zijn. Blijft het punt dat als we de webservers gaan verspreiden, we nog steeds offline waren gegaan omdat we 2 van de 3 db-servers zijn kwijtgeraakt. Overstappen op Master-Master gaat iets meer met zich meebrengen dan wat instances verspreid opstarten

Oorspronkelijk geplaatst door Timan Rebel

Heel simpel, er is momenteel geen Nederlandse hoster die de level van redundancy, scaling en diensten kan aanbieden zoals Amazon AWS dat doet. Ik sprak hier toevallig vorige week met True nog over. Wij gebruiken verschillende auto-scaling methodes, zowel automatisch aan de hand van load op de servers als dynamisch vanuit onze applicatie via de API's van AWS als we weten dat er extra load aan gaat komen. Even via een API 20 instances met 2 cores en 2Gb geheugen opstarten zit er gewoon niet zomaar in bij andere partijen. Iets wat wij wel nodig hebben.

Om het even in 1 woord samen te vatten: onzin. Er zijn genoeg partijen (ook in Nederland) die dit ook aan kunnen bieden, je bent er waarschijnlijk enkel niet bekend mee.

Oorspronkelijk geplaatst door Apoc

Om het even in 1 woord samen te vatten: onzin. Er zijn genoeg partijen (ook in Nederland) die dit ook aan kunnen bieden, je bent er waarschijnlijk enkel niet bekend mee.

Wie kan precies hetzelfde en/of beter aanbieden in nederland wat amazon aanbied? Dit is bij mij ook niet bekend namelijk, ik ken wel enkele buitenlandse partijen welke dit proberen op te zetten in nederland maar is nog niet gelijk aan de amazon ec2 cloud.

Oorspronkelijk geplaatst door Apoc

Om het even in 1 woord samen te vatten: onzin. Er zijn genoeg partijen (ook in Nederland) die dit ook aan kunnen bieden, je bent er waarschijnlijk enkel niet bekend mee.

Om het even in 1 woord samen te vatten: voorbeeld?

Oorspronkelijk geplaatst door Pantsy

Wie kan precies hetzelfde en/of beter aanbieden in nederland wat amazon aanbied? Dit is bij mij ook niet bekend namelijk, ik ken wel enkele buitenlandse partijen welke dit proberen op te zetten in nederland maar is nog niet gelijk aan de amazon ec2 cloud.

Natuurlijk is de schaal van Amazon nog veel groter, maar het genoemde voorbeeld (20x 2 cores met 2GB geheugen) is voor een beetje cloud aanbieder geen enkel probleem. Wanneer je gaat praten over honderden of duizenden cores, wordt het een ander verhaal - maar er zijn ook maar weinig scenario's waarin je een dergelijk volume "on the fly" nodig zult hebben.

Oorspronkelijk geplaatst door davinci

Om het even in 1 woord samen te vatten: voorbeeld?

Huiswerk (c.q. promotie van bepaalde partijen) ga ik niet voor je doen

Volgens mij mis je het punt dat we het over dezelfde service hebben als de amazon ec2 service, dat kan niemand aanbieden. Resources in een cloud zijn makkelijk bij te schalen, dat vormt geen probleem zelfs niet voor providers in nederland.

Back to the drawing table andre =)

Oorspronkelijk geplaatst door Apoc

Huiswerk (c.q. promotie van bepaalde partijen) ga ik niet voor je doen

Daar gaat het toch niet om. Voor zover ik weet en met mij veel anderen, is dit (nog) niet mogelijk in Nederland..
Ik vraag je geen offerte of reclame te maken... Daarom plaats ik je eerdere opmerking maar in de context van datzelfde ene woordje....