Cluster voor community websites bouwen.

[jo0st]

Hoi,

Sinds een jaar draai ik enkele community websites, nu begint het een beetje de grootte aan te nemen dat het niet meer helemaal goed draait op de huidige configuratie (webserver + database server).

Database: dual opteron, 4 gig
Web: dual xeon 2 gig

De coding zal uiteraard ook geheel opnieuw worden gedaan want dat is gewoon niet echt optimaal op het moment. Het is dan ook de bedoeling dat we geruime tijd vooruit kunnen. We willen een loadbalancing setup gaan maken, 2/3 front-end server, en 1/2 loadbalancers.

Ik vroeg mij af wat voor configuratie jullie zouden aanraden voor de loadbalancers, en welke configuratie voor de webservers. Want zelf kom ik er niet helemaal uit.

[Ryan Kalkhoven]

Dat is geheel afhankelijk van je budget. Je kan zeer goede hardware oplossingen kiezen, maar dan moet je ook een goed budget hebben.

Met software zoals bijv. LVS onder linux kun je ook een heel eind komen. Dit kan een stuk goedkoper zijn.

Echter naast geld moet je er ook naar kijken waar je zelf het meeste verstand van hebt als je het zelf wil onderhouden. Want zodra je voor dit soort oplossingen gaat kiezen wil je naast dat je de grote vraag kan beantwoorden ook zorgen dat het permanent online is.

[jo0st]

In principe is er wel budget, ik weet alleen niet wat er precies nodig is.
Om maar een voorbeeld te noemen, er is vast geen dual opteron nodig met 4 gig om als loadbalancer te serveren. En ik ben benieuwd wat andere dan voor specs zouden aanraden.

[svbeek]

Wat wil je precies bereiken met de cluster oplossing? Een hogere beschikbaarheid, het verdelen van load, of beiden?

Draai je een php/mysql applicatie?
Dan zou ik eens kijken naar mysql replicatie. Je zult dan wel gescheiden read en write queries moeten gaan gebruiken in je applicatie. Maar dat
zou niet zo'n probleem moeten zijn.

Als load balancer heb je twee keuzes: of je gaat voor een server met load balancing software, zoals linux virtual server, of je gaat voor een hardware oplossing. Dit kan bijv. foundry serveriron, alteon of extreme networks zijn (die laatste hebben we zelf). De eerste oplossing is goedkoper, de tweede wat bedrijfszekerder als je mij vraagt. Ook kun je ervoor kiezen deze loadbalancer weer redundant uit te voeren, dus twee load balancers in failover configuratie. Overigens zullen diverse colocatie providers je ook wel kunnen load balanced poortjes kunnen verhuren zodat je hier zelf geen hardware voor hoeft te kopen.

Wat betreft de hardware van de servers: Een database server profiteert van snelle disken en veel ram (om te cachen). Gebruik dus scsi schijven (het liefst in raid 10). Gebruik als intern netwerk een gigabit verbinding, voor een hogere doorvoer en minder overhead (jumbo frames). Op dit punt kun je prima voor 1000baseT kiezen, das wat goedkoper als fiber.

Opterons presteren goed als mysql server (goede prijs/kwaliteit verhouding, zie de diverse opteron vs xeon benchmarks op het internet). Let wel op dat je os en mysql installatie 64 bits ondersteunen, zodat je er het maximale uit trekt. Waarschijnlijk wil je ook gelijk voor een dual core oplossing kiezen, levert je meer rekenkracht per rack unit op.

[Ryan Kalkhoven]

@Jo0st

Zonder specificaties van traffic en load etc. Kun je vrij weinig zeggen of een Dual Opteron overkill is. Voor een website met 300 unieke bezoekers per dag waarschijnlijk wel maar zijn het er 300 per minuut dan moet je daar toch minimaal aan denken

[jo0st]

Mmmm, dan zou ik die even eruit moeten gaan vissen. Ben overigens zelf (prolly wel duidelijk), niet degene die over het technische gedeelte gaat. Ik probeer alleen wat extra research te doen zodat er niet onnodig veel of misschien te weinig aan servercapaciteit word ingekocht.

Ik kan op dit moment wel vertellen dat er 30 000 uniek per dag ongeveer de sites bezoekt. En totaal ongeveer 4 000 000 pageviews genereren. Het probleem zit hem er meer in dat dit binnen hele korte tijd al verdubbel is, en we snel aankopen moeten doen om deze groei op te kunnen vangen en minstens 3 maanden vooruit kunnen.

Op deze seconde zijn er 1170 mensen online.

Maar ik zal even zorgen dat degene die het technische gedeelte normalitair op zich neemt mij het nodige toestuurt zodat ik jullie ook wat meer kan vertellen.

[Mark17]

Ik neem aan dat elke bezoeker minimaal 1 query per pagina doet, dat zou betekenen dat er in die ene seconde 1170 query's zijn geweest, zijn er echter per pagina 2 of meer query's nodig of verwacht je een goede groei in de nabije toekomst dan zou ik als ik u was en er het geld voor over had gaan voor een dual opteron met 4 GB RAM (RAM moet wel uit te breiden zijn) met RAID 10 en SCSI hardeschijven. Dit zijn niet de goedkoo0pste servers, echter leveren deze servers zeker goede kwaliteit indien het een merk server betreft (SUN/HP/etc.). Daarnaast adviseer ik je om met 1 loadbalancer en 3 webservers te beginnen (indien uploaden mogelijk is zou je voor de uploads een aparte fileserver kunnen gebruiken).

Echter kun je het beste beginnen met het script efficienter te maken (minder SQL query's). Overleg met je colocatie provider waar je dit onderbrengt of wilt onderbrengen kan ook zeer goed helpen.

[jo0st]

Ik heb al een dual opteron met 4 GIG ram staan op het moment. Wij dachten dat als we wat extra RAM in ozne DUAL xeon zouden prikken (nu 2 GIG) dat deze ook wel als spare en/of tweede database server zou kunnen dienen.

Daarnaast vroeg ik me af welke specs voor een loadbalancing server, en welke specs voor de front-end servers jij aan zou raden.

[svbeek]

Je zou de xeon inderdaad ook kunnen upgraden naar 4 gig ram. Beiden servers dan in een mysql replicatie opstelling, alle writes op de ene server (de opteron lijkt me), alle reads dan op de xeon.

Wat betreft de webservers, met minimaal twee servers beginnen natuurlijk, anders kan je niet load balancen. Dit kunnen prima gewone p4's zijn met 1 of 2 gig ram. Het webgedeelte van een applicatie is meestal het makkelijkst te load balancen, dus kun je hier beter gaan voor kwantiteit ipv kwaliteit (dus meerdere goedkope servers ipv één zware dure machine). Bijv. google doet dit ook, veel goedkope machines ipv enkele hele dure.

Verder zou je kunnen overwegen om alle statische content, zoals plaatjes e.d. op een aparte server te zetten. Deze draait dan alleen een lichte webserver (bijv lighthttpd) zonder scripting mogelijkheden e.d. Zodoende is het vrij simpel mogelijk de overige webservers te ontlasten, ze hoeven zich niet met dit 'simpele werk' bezig te houden en hebben dus meer resources over. Ook deze server is trouwens een punt waar met caching veel winst te behalen valt.

[jo0st]

Loadbalancing servers hebben toch ook niet echt veel nodig? met een 512 MB sempronnetje zou dit toch makkelijk kunnen.

Want ik wil (eigenlijk) de xeon inderdaad upgraden. 2 loadbalancing servers en 3 webservers gaan aanschaffen.

Wat zou er nodig zijn voor deze image/file server?? Hier geld ook eerder kwantiteit boven kwaliteit?

[svbeek]

Een simpel load balancertje zou inderdaad bijv. een celeron of sempron met een halve gig ram kunnen zijn, met linux virtual server erop. Door middel van heartbeat zou je dan de loadbalancers in een failover configuratie kunnen laten draaien.
Zelf ben ik echter wat meer voorstander van een hardware based load balancer, dit is naar mijn mening gewoon professioneler. Je zou kunnen overwegen refurbished apparatuur te kopen. Als goed shopt zou je deze wel voor de prijs van een hierboven genoemde server moeten kunnen vinden. Of natuurlijk het load balancen in overleg door je provider laten doen, mits deze dit kan leveren.

Wat betreft de fileserver, dit hangt van je applicatie af. Wordt er bijna alleen maar gelezen vanaf de fileserver, of ook veel geschreven?

[jo0st]

Hardware loadbalancer: waar moet ik daarbij precies aan denken?

Fileserver: moet inderdaad ook vrij veel schrijven, wat zou je me dan aanraden?

[Mark17]

Voor de fileserver zijn snelle schijven nodig (ivm het vervangen van data waardoor de cache minder bruikbaar is). Hiervoor zou je voor scsi discs kunnen gaan net zoals is geadviseerd voor de SQL server.

[jo0st]

Origineel geplaatst door Mark17
Voor de fileserver zijn snelle schijven nodig (ivm het vervangen van data waardoor de cache minder bruikbaar is). Hiervoor zou je voor scsi discs kunnen gaan net zoals is geadviseerd voor de SQL server.

Het hoeft bijvoorbeeld niet een opteron te zijn? een pIV met dikke schijven zou het ook kunnen trekken??

[Mark17]

indien het enkel een fileserver is zou je het beste voor een single opteron met 2 GB ram kunnen gaan (uiteraard is het verstandig om al wel de optie tot uitbreiding naar een dual opteron en 4GB ram te hebben).