Onderwerp: Horizontaal/vertikaal scalen .. httpd.conf

Beste WHT'ers,

Ik zit met een twee tal problemen. We runnen een redelijk groeiend algemeen forum. Het aantal simultane bezoekers neemt toe, maar bij bepaalde media gebeurtenissen (BigBrother exits, DGK ruzies, ...) hebben we pieken die het dubbele zijn van normaal.

De planning was om een zware DB server te gebruiken en dan meerdere webservers te clusteren, maar ivm de steeds duurder worden prijs van colo en stroom en de als maar groter wordende betaalbare rekenmonsters,twijfel ik nu of het niet beter is een quad-core Xeon te plaatsen waar nog een 2e bij kan met SAS schijven in RAID10.

Het forum draait op een getweakte phpBB die behoorlijk ge tuned is om zo min mogelijk DB access te hebben (file caching en queries zijn getuned).

Er zijn nu gemiddeld tussen de 150 en 300 simultane bezoekers, met pieken naar 400 tot 600.

Volgens mij zou dit niet dramatisch moeten zijn. Het draait nu op 2 servers. De database op en 2xXeon 5130 met 4Gb en Raptors in RAID5, de website op een Opteron 165 met 4Gb en Raptors in RAID1.

De load op de Xeon is tussen de 0.4 en 0.8, de load op de webserver is 0.5

Nagenoeg niets dus. Het is gebleken dat de performance issues ontstaan door geheugen problemen en HTTP connecties. Daarom dacht ik er aan om de twee servers op één Quad core + 8Gb + SAS RAID10 te zetten, zodat er nog een quad bij kan en 8Gb extra in de toekomst. De huidige webserver kan namelijk niet meer dan 4Gb aan.

Wat zouden jullie als oplossing kiezen? Horizontaal of vertikaal scalen?
Of misschien eerst zo ver mogelijk vertikaal en dan alsnog horizontaal?

Tevens wil ik vragen of er mensen ervaring hebben met het tweaken van Apache2 voor grote aantallen connecties en hiervoor een aantal tips kunnen geven?

Heb je al eens getest met je KeepAlive lager te zetten in Apache?

Ik zet dat vaak op 2 seconde, dat levert een flinke performance boost op, op drukke servers.

Dat heb ik nog niet geprobeerd, zal ik zeker even doen en de resultaten melden.

Je zal eerste moeten bepalen wat nu het probleem is. Daarnaast loop je bij verticaal schalen toch een keer tegen een plafond aan, het wordt steeds inefficienter.

Ik gaf het zojuist ook al aan in een ander topic, misschien voor je webservers eens kijken naar LigHTTPD (http://www.lighttpd.net). Wij draaien dit op diverse servers welke met piektijden ~400.000 unieke bezoekers in 1 dag te verwerken krijgen, dit alles met een gemiddelde load van 0.2 op de webservers. Voor high-volume sites is switchen van Apache naar LigHTTPd een echte aanrader!

Ik wil even opmerken dat naast file/tpl caching er ook een BETA mod is voor phpBB die queries kan cachen

je moet eerst de bottleneck zoeken, en die gaan oplossen. Er zijn miljoenen zaken die je kan aanpassen, maar in het wilde weg zitten klooien gaat niet helpen.

Zoek uit waaraan je server het meest tijd verliest, en pas dat deel aan (tuning van parameters, instellingen van OS, upgrades van hardware...)

Wellicht is je memory footprint van een apache proces enorm omdat er allerlei modules geladen worden die niet nodig zijn. Apache is een memory hog wat dat betreft. Tune httpd.conf dus eerst maar eens flink zodat die 4GB beter gebruikt kan worden.