Onderwerp: Hosting voor grote site (1 miljoen bezoekers per dag)

Een klant waar wij de hardware voor leveren is momenteel op zoek naar aangepaste hosting.

Er komt een nieuw product/dienst op de markt en hiervoor wordt oa een website voor gebruikt.

Raming van maximaal aantal gebruikers per dag wordt gerekend op 1 miljoen. Dit is voor een dienst over heel Frankrijk, Belgie, Luxemburg. Later ook naar Nederland toe.

Er werd ons gevraagd om dit op ons te nemen, echter willen wij hiervoor eerst informatie over inwinnen.

Mijn vraag is dus, wat heb je hier voor nodig? 1 miljoen bezoekers is niet niks, zeker als de site soepel en bereikbaar moet blijven. Ook zoeken ze een kant en klare oplossing, dus dat ze hun databases online hebben, opslag voor de ruimte etc...

Er is (momenteel) niemand met de kennis om zo een server te installeren, laat staan onderhouden. Dus eigenlijk willen ze een pakket zoals je die hebt voor 20€/maand. Je kan je databases aanmaken, mappen, subdomeinen etc via een cpanel of iets anders. Indien echt nodig kan er hier wel iemand voor gezocht worden, maar liefst hebben ze een interne persoon bij de hoster hiervoor.

Ik heb al een beetje zitten kijken met de zoekfunctie, blijkbaar zou er hiervoor zeker een cluster nodig zijn, aparte server voor de foto's, server voor de databases, eentje voor de site en eentje voor de backup.

Wat hebben ze nodig, en bestaat hier een kant en klaar pakket voor? Dus inclusief serverbeheerder?

Of moeten ze zelf op zoek gaan naar hardware (zoja welke) en een serverbeheerder?

Uiteraard weten ze dat dit niet met 20 euro per maand kan, er is een serieus maandelijks budget hiervoor klaargezet.

Kun je iets meer vertellen over de website zelf? Wat het doet etc. Dan kunnen wij je beter helpen.

Moet alles op 1 locatie gehost worden, of zijn er plannen om dit via landbased loadbalance te doen. Anders zou je bvb eens kunnen kijken naar wat http://www.akamai.com/ te bieden heeft. Zo heb je alles outsourced en is het scaleable naar de toekomst toe. Nadeel is wel dat hier een redelijk prijskaartje zal aanhangen zoals je zelf al aangeeft.

Indien je het liever zelf beheert maar de pre-install etc aan iemand anders over laat (en in geval van nood support krijgt) dan kan ik je http://www.rootsecurity.be aanraden voor zo een project.

Zij willen niks met de servers/hardware te maken hebben.

Ze willen hun databases en website online hebben, backup geautomatiseerd etc. "Gewoon" de bestanden uploaden en alles gaat. Dus alles wat met hardware te maken heeft wordt door de hoster gedaan.

Zonder teveel informatie door te geven gaat het over een soort PSN Live (Sony Playstation)/Facebook achtig iets. Dus mensen maken een profiel aan, en kunnen hier iets mee doen. Dus geen youtube-achtige dingen, geen zware streaming. Er komt wel heel wat beeldmateriaal op en externe links. Uptime is uitermate belangrijk.

Een soort PSN Live, maar met andere functies. Wel hetzelfde account-principe.

Indien er een firma / oplossing is waarin de klant enkel voor de site moet zorgen, en dat de firma alles kwa hardware, onderhoud en uptime regelt zou dit perfect zijn. De klant wil zicht niet hoeven bezig te houden met de hostingkant, die moet gewoon werken.

Heel belangrijk, wat is het budget?

Nee, hier is geen kant en klaar pakket voor uiteraard

Je hebt 10-15 bezoekers per seconde gemiddeld. Dit is uiteraard overdag op pieken veel meer.
Afhankelijk van eventuele caching opties van de site zou je dit eventueel nog als 'static' content kunnen zien. Blijft uiteraard pittig als je er maar 1 server onder hebt hangen (los van de image en dbserver(s) die nodig zijn).

Een bepaald percentage van die 1M per dag is meestal uit op problemen. Daarvoor heb je 1 oplossing en dat is een hardware firewall (kan ook software, zolang het maar op een andere server is).

Voor het loggen van diverse onderdelen zou ik je ook een aparte server adviseren. Je wil niet dat 25% van je resources naar lokaal loggen gaan tenslotte.

Uiteraard wil je ook backups. Hiervoor zul je waarschijnlijk een dikke bak nodig hebben. Ik heb geen idee hoeveel data je systeem heeft, maar als je 150GB moet gaan backuppen ben je een ruim dagdeel zoet. Idem met een restore in geval van problemen.

Gaat iets kapot dan zal je hoster dit uiteraard vervangen (als het geen colo is ), maar hij moet het spul wel op voorraad hebben en het moet snel inzetbaar zijn. Even een kaal server 'configgen' en erbij hangen is meestal niet de beste oplossing.

Dus afhankelijk van je site, wensen en eisen mbt. response, backups, beveiliging e.d. is dit allemaal wel te realiseren.

Mogelijk wil je ook niet dat, bij een storing, elk land plat is. In dat geval komt er nog iets meer bij kijken.

Maar... je idee dat 20 euro pakketje waarbij de klant zelf zijn dingen kan doen, moet je laten varen. Dat moet je bij de hoster van het geheel laten liggen. Database kunnen aanmaken betekent database kunnen verwijderen. Dit soort dingen moet je voor zulke grote sites echt alleen maar overlaten aan een persoon met voldoende kennis en die, in geval van troubles. direct weer met herstellen van een mogelijke fout kan beginnen.

excl. hardware moet je toch al snel denken aan 3-5k setup kosten. Inclusief hardware moet je meer tegen de 20K gaan denken, voor een eenvoudig cluster. Een high available en volledig redundant cluster, kost een beetje meer. Wil je het verspreid over geografisch gescheiden plekken (dc per land), dan mag je dat nog een paar keer vermenigvuldigen.

John

Als je er geen kaas van gegeten hebt, ga dan gewoon eens spreken met enkele bedrijven die hier wel ervaring mee hebben, en die de hele setup met garanties uit je handen kunnen nemen.

Denk eraan om voor de grote lancering realistische testen te laten uitvoeren!

Met alle respect voor de reacties hierboven, maar ik denk dat we hier sowieso geen enkel nuttig antwoord op kunnen geven zonder meer informatie te krijgen.

Ik kan zo 1 miljoen bezoekers per dag hosten. Indien ik een webservertje heb, en een database zonder updates of inserts.

Hoe statisch is het geheel? Ik raad je sterk aan om te kijken naar het budget, en te kijken of je hier niet een uitbestedingstraject voor wil laten lopen. Zo heb ik eens een uitbestedingstraject gezien naar Intermax, consultancy en alles. De websites (een framework voor diverse webshops) draaien nu als een zonnetje.

Een website staat en valt met het programmeerwerk en de database. Ik heb eerder een volledig geclusterde website plat zien gaan vanwege brak (zeg maar gerust: bizar slecht) programmeerwerk. Zonder die informatie ga je hier geen goed antwoord krijgen.

Volg Wonko z'n raad op en ga met de andere antwoorden in je zak in gesprek met verschillende partijen. Zij kunnen als geen andere aangeven wat er nodig zal zijn. De antwoorden hier kun je als eigen referentie gebruiken om toch een inschatting te maken of ze je niet teveel gaan rekenen of dat ze bijvoorbeeld zaken vergeten.

Zoals DiedX al zegt, programmeerwerk is erg belangrijk. Vergeet daar geen budget voor vrij te laten maken. Maar hou ook rekening met extra budget achteraf (groei, onderhoud, debugging). Veel bedrijven moeten hier op het moment dat het gebeurd budget voor vrij maken waardoor problemen langer blijven slepen. En ook software kan 'zomaar' stuk gaan.

Zoals gezegd is dit niet wat je zomaar uit je mouw schud. Er zullen echt wat gesprekken moeten plaastvinden voordat er gestart kan worden maar het is maar net hoe serieus de opdrachtgever en jijzelf bent.

Ik sluit me aan bij DiedX. Als je zoiets groots wilt hosten en het volledige beheer wilt uitbesteden, zul je minimaal vroeg in het ontwikkeltraject al moeten gaan samenwerken. Op deze manier kan je samen op zoek naar performance en security problemen en de mogelijke problemen cq uitdagingen die zo'n omgeving met zich meebrengt. Ik vervul dit soort "verbindingslaag" rollen regelmatig en mijn ervaring is dat het ontwikkelteam een inframan (of vrouw) nodig heeft en een inframan het ontwikkelteam.

Een goede pagina om te bekijken is http://wiki.apache.org/hadoop/PoweredBy, wat je wat info geeft over wat voor clusters diverse partijen hebben ingezet, met welke schaalgrootte.
We praten dan hier nog steeds niet over het hosten van zo'n applicatie, alleen de structuur daarachter om wat nuttigs met data te doen. (daar zit nl de waarde van veel van die bedrijven!).
Wat een 1 miljoen bezoekers precies betekend (1 klik bezoekers, zitten ze er uren). Ga je een logtrail bijhouden per bezoeker, hebben ze sessies nodig, is iedere pagina dynamisch, wat kan je cachen, hoe complex is het zoekmechanisme, wat voor access logs, etc.

Het blijft natuurlijk gissen, daar het ook afhangt van de software die je gebruikt. (Ik kom uit de Apache Java hoek).

ben je zeker van deze getallen, 1 miljoen bezoekers is bizar veel....en niet echt iets voor shared hosting.

Ik zou bij zulke aantallen ook een jurist bijschakelen, je komt dan al snel in SLA werk terecht.

En je wil denk ik uberhaubt niet dat je naam in verband wordt gebracht met een slechte livegang (zoals Hasbro met Monopoly City Streets op 9-9-2009 recentelijk).

En wat je al helemaal niet wil is dat je klant je aansprakelijk gaat stellen voor schade omdat je niet precies wist wat je aan het doen was. Ik denk als je aan de 1 miljoen bezoekers zit (uniek?) per dag dat je dat normaal gesproken alleen bereikt met een advertentie campagne. En dan kan het schade bedrag behoorlijk oplopen.

Stukje van het blog van Monopoly City Streets:

We had planned for a lot of traffic on launch day and had been load testing the game - in fact, we've been testing and optimizing for a whole month. However, between the enthusiasm of Monopoly fans around the world, everyone who was excited to try out the new experience and non-stop mentions of the game on Twitter, blogs and everywhere else, our servers were overwhelmed. Based on the stats we have, we show a daily rate of about 1.7 million unique visitors, but the figure is likely far higher.

En dat was de 1e dag echt een heel groot drama.

Leading, en dat mag niet! Velen hebben ervaring met het opzetten van clusters voor sites met 1M+ bezoekers per dag.

Enigste wat ik kan zeggen is hou rekening met _alles_. Bij zulke volumes is letterlijk ieder detail van belang, hoe onbelangrijk dat detail ook lijkt.

Heb je er zelf geen ervaring mee is het absoluut verstandig om uit te besteden, of in ieder geval _veel_ informatie in te winnen bij partijen met hands-on ervaring. Doe je dit niet kom je jezelf gegarandeerd tegen zodra het online staat.

Leading, en dat mag niet!