Onderwerp: Hoeveel geheugen/proc.kracht nodig voor... ?

Ik ben bezig met een orientatie op implementatie van 2 concepten, waarvoor ik webhosting-advies nodig heb.

'Concept 1' is een service waarbij een groot aantal bestand-accesses per user-session nodig zijn, met relatief kleine bestanden. Een ruime schatting is 250Kb per sessie van 5 minuten. Op de client vraagt een html of flash-applicatie bestanden aan. Op de server zorgen Apache Tomcat (J2SE 5) en een Native-XML Database voor afhandeling van de requests. Het aantal sessies/maand zal naar verwachting minimaal 200,000 zijn, wat neerkomt op 50 GB/maand. Maximale bandbreedte per user, per sessie is met 64kb/sec wel voldoende. Opslagruimte is verwaarloosbaar.

'Concept 2' is een service waarbij een grote hoeveelheid images server-side bewerkt worden, resulterend in (zeg) 5 images van verschillende kwaliteit, die ook op 5 verschillende server(clusters) ondergebracht worden. Die laatste 5 moeten niets anders doen dan images serven, naar schatting 25 GB per server, per maand. De apparaten die de images verwerken zullen ongeveer 100,000 images per maand verzetten. Op een 2.5 ghz, 1024 MB machine kost de bewerking van één image maximaal 30 seconden, wat betekent dat 2 van zulke machines het werk aan zouden kunnen, toch?


Wat heb ik nodig aan geheugen en processorkracht, en aantal racks, etc, etc, om deze services te kunnen bieden?
Kan iemand me een grove schatting van de kosten/maand geven?

Concept 1:
Zoals je zegt een groot aantal bestand-accesses, kies dus voor schijven met een lage toegangstijd. Snelle scsi schijven in een raid array lijken mij dan ook geen verbodige luxe.
Verder zie ik dat hiervoor ook een database server nodig is.
Database servers profiteren van een grote hoeveelheid ram, omdat ze dan veel data kunnen cachen, stop dus zoveel mogelijk ram in deze server. Tevens is vanzelfsprekend een snelle cpu makkelijk, ik zou op internet even wat benchmarks opzoeken, en kijken welke processoren goed presteren met het type database dat je wilt gebruiken. Zal waarschijnlijk xeon of opteron worden. Verder profiteren ook database servers van snelle toegangstijden, dus ook hier scsi schijven in raid, tevens voor wat bescherming van data bij schijfcrashes.
Verbind de losse servers intern via gigabit, dit zorgt niet alleen voor hogere doorvoer maar ook lagere latency.

Concept 2:
Plaatjes bewerken kost idd veel rekenkracht dus ook hier een snelle (dual) cpu. Bedenk hierbij wat het load op het drukste moment zal zijn, en zorg altijd voor een veilige extra marge in je rekenkracht. Verder is hier een local load balancing oplossing handig, om de load te verdelen over meerdere machines, en eventueel statische content vanaf een aparte, snelle webserver te serveren.

Hoeveel cpu power je hier per concept nodig hebt is erg lastig te zeggen. Dit hangt o.a. af van de mate van tweaking/optimalisatie van je servers, de code van je applicatie, de database, enz. Het beste kun je dit gewoon uittesten door benchmark applications te runnen, en je servers in een test setup zo realistisch mogelijk te belasten.
Tevens hangt de hoeveelheid rackspace natuurlijk ook af van de servers die er komen te hangen. Minimaal 2u per server aanhouden lijkt me redelijk, zeker als er raid oplossingen met meerdere schijven gebruikt worden, en misschien nog extra ruimte voor een interne gigabit switch, of een loadbalancer.
Misschien wil je ook nog servers redundant uitvoeren, afhankelijk van de eisen die je stelt aan de beschikbaarheid.

De kosten:
Kan ik zo nog niet veel van zeggen. Wil je zelf servers kopen en beheren, of dit uitbesteden? Graag wat meer details

Heb je nog vragen, kan je altijd contact met me opnemen.

Dank je, daar heb ik zeker wat aan. Ik heb jullie contactinformatie genoteerd!

Het is de bedoeling alle pure hardware-aspecten uit te besteden, aan de hand van een robuust structuur-ontwerp dat we zelf ontwikkelen. Komt dus inderdaad neer op een redundant systeem voor request-afhandeling en een alleen door dat systeem te benaderen back-end voor een groot aantal modules, waaronder het image-concept. Eén en ander moet begin 2006 volledig operationeel zijn.

...

"Strategies for Web Hosting and Managed Services, Doug Kaye, 2002", is net afgeleverd, dus eerst daar maar eens mee aan de slag. "Web Hosting Manual, Christoph Puetz, 2003?" is dun boekje om mee te beginnen, helaas in puur amerikaanse Self-Made-Man-Style, maar wel symphatiek.