Onderwerp: Hoe kan ik een inschatting van server load maken?

Beste,

Voor een groot project hebben we een VPS aangeschaft. (1 core op 2.4 Ghz; 1024 mb ram; 20 gb HDD (sata))
Nu gaan we over een paar weken de lucht in en we verwachten, zeker in het begin, een enorme toestroom aan actieve bezoekers.

Momenteel draait op de server:
- Postfix (smtp)
- Dovecot (imap)
- MySQL
- PHP 5.4
- Apache2
- Subversion (enkel voor development, zal tijdens productie niet veel meer gebruikt worden)

Nu vroeg ik mij af, hoe kan ik 'ongeveer' berekenen hoeveel deze server aankan?

Al deze services zullen intensief worden gebruikt bij het aanroepen van een pagina. De grote bestanden (video's) hebben we al in de cloud gezet. De rest zijn plaatjes / html / php bestanden (via het Laravel-framework) en staan wel op de server.

Is het handig om te upgraden? Wellicht een extra VPS voor het e-mailverkeer?

Graag hoor ik jullie mening!
Groeten,
Jason

Load (vooraf) inschatten is altijd "lastig". Dit is namelijk erg afhankelijk van de applicatie die erop draait (de website die jullie hebben ontwikkeld).

Enkele punten die van belang zijn;
- Is de code goed geoptimaliseerd?
- Zijn de MySQL queries goed geoptimaliseerd (geen SELECT * FROM `tabel` waar je maar 1 of 2 velden nodig hebt)?
- Wordt er in het Lavarel-framework gebruik gemaakt van caching?
- Worden er veel mails verstuurd? En hoe groot zijn deze e-mails?
- Wat wordt er bij een eventuele gebruiker opgeslagen op de server (profiel afbeelding, foto albums, etc)?
- Wordt de website gepromoot? Bijvoorbeeld via de media? Het is in dat geval mogelijk dat er binnen een korte periode veel bezoekers gelijktijdig op de website komen. Het zou dan zonde zijn dat je VPS door zijn knieën zakt omdat deze pieken niet te verwerken zijn.

Ik denk dat je met de huidige VPS voorlopig wel vooruit kunt maar afhankelijk van de groei van de website zul je op den duur waarschijnlijk wel moeten overstappen naar een groter broertje.

Misschien kun je met je hostingprovider afspraken maken dat er ruimte is voor upgrades (meer geheugen en meer CPU core's) op het moment dat dit nodig is? Het is prima mogelijk om met minimale downtime de VPS te upgraden met meer resources, maar ondersteund je provider dit ook?

Lastig voorspellen inderdaad, want het hangt ook enorm van je configuratie af. Het lukt mij zelden om met slechts 1GB ram een beetje populaire website in de lucht te houden, ik zou toch minimaal richting de 4GB geheugen gaan kijken en 2 CPU cores.

Dag Kevin,

Dank voor je antwoord.
De code is vrij goed geoptimaliseerd. Het Laravel-framework neemt mij die taak uit handen. Nu laden de pagina's vrij snel. 8 mb per pagina ongeveer in 3 - 4 seconden (inclusief hi-res afbeeldingen e.d.)
Er zit zeker caching in. Ik verwacht dat er per bezoeker 0 tot 3 e-mail(s) word(t)(en) verstuurd (1 html-mail; niet zo zwaar en een tekst-fallback)
Een groot deel van de website bestaat uit een Flash-game, voor deze game wordt er maximaal 1 afbeelding opgeslagen.

Het is dus allemaal vrij goed te overzien. Echter, zoals je ook al aangeeft, de site wordt heel hard ge-pushed, dat gebeurt nu al in de mainstream media. (Dat verkeer loopt via een andere server)
En er wordt een grote reclame-campagne op Facebook er tegenaan gegooid. Een bureau heeft berekend dat dat ons 900 actieve gebruikers oplevert. Maar de toestroom zal enorm zijn.

Ik kan mijn VPS makkelijk uitbreiden op welk moment dan ook.
Maar ik vroeg mij dus af of scheiden van een aantal onderdelen voordelen biedt? Ik kan mij voorstellen dat de DB en e-mail op 1 server gaan, maar de tijd om data te laden uit de database gaat dan weer achteruit...

Kun jij een inschatting maken hoeveel bezoekers mijn huidige configuratie aan kan?
Nogmaals dank!

Kan je niet beter de eerste 48h even extra rekencapaciteit in gebruik nemen en dan vervolgens 's nachts weer terugschalen langzamerhand? Op deze manier heb je enorm weinig overhead (misschien paar euro) en kan je makkelijk de bezoekers aan.

Met de tool ab of andere load testing tool (zoek op google) kan je eenvoudig een schatting krijgen van de load met x bezoekers.

Kan je niet beter de eerste 48h even extra rekencapaciteit in gebruik nemen en dan vervolgens 's nachts weer terugschalen langzamerhand? Op deze manier heb je enorm weinig overhead (misschien paar euro) en kan je makkelijk de bezoekers aan.

Ik denk dat dit je beste optie is, tijdelijk even opschalen en dan tijdens de release kijken hoe het loopt. Better safe then sorry.

Erg bedankt voor jullie reacties.
Ik ga eens vragen hoe ze zijn met downscalen. Upscalen is nooit het probleem... Dank!

1CPU, 1GB geheugen en een SATA schijf. Dat is geen snelle setup.

Er wordt hier veel te veel aangenomen. Zonder load test kun je niet inschatten wat er gaat gebeuren. Je zegt dat het framework je alles uit handen neemt: maar net die ene kleine instelling die je over het hoofd hebt gezien kan er voor zorgen dat alles offline gaat. Durf jij je handen er voor in het vuur te steken?

Meten is weten. Zo simpel is het. Investeer wat geld in een load test is mijn advies.

Ik sluit me erbij aan, een beetje lucht voor Mysql / PHP e.d. is nooit weg.
Oftewel, waarom is er zo krap ingekocht als je in het begin piek verkeer verwacht.

Wij zouden dit soort VPSen nooit verkopen aan klanten die aangeven piek verkeer e.d. te krijgen.

Loadtest inzetten, en veel belangrijker nog, wat doe je als de omgeving klapt om 20:00 in de avond. Kan je dan handelen, of moet je wachten tot de volgende morgen 09:00.

Een loadtest is niet echt nodig... ik denk dat je zo al kunt zeggen dat dit geen pieken aan kan. (Ok, misschien zijn 10 gebruikers een 'piek', maar dat betwijfel is).

Het mailverkeer is wel het minste waar je je zorgen over moet maken, zeker als het uitgaand traffic is. Bij inkomende mail kun je nog wat resources kwijtraken door je spamfilter en virusscanner e.d maar uitgaand is meestal gewoon over schutting gooien naar een low prio process dat zich bij een beetje hoge load van andere processen zelf al op hold zet...

Met 1 core zit elk process te worstelen voor resources en hierbij zijn apache/php/mysql meestal wel de processen die graag wat power hebben, zeker mysql.

Met 1 gb ram heb je vrij weinig. Niet alleen wil je dat mysql al zijn indexen in ram kan houden, maar als je redelijk wat temporary files/sorts hebt als gevolg van je sql queries wil je daar ook redelijk wat ram voor hebben. Eventueel zelfs een leuk deel voor een ram disk op /tmp waar mysql zijn tempfiles kwijt kan want als je dat op piekmomenten op een sata moet dumpen... ga je niet happy van worden.

Gewoon even vet opschalen voor je piekmomentje en dan op je gemak kijken hoeveel je er vanaf kunt halen zonder performance kwijt te raken.

Dank voor jullie antwoorden.
De server is zo 'krap ingekocht', omdat opschalen geen enkel probleem is. Vooralsnog gebruikte we het als ontwikkelserver, dit was dus ruim voldoende.
Wat raden jullie aan? Qua setup? 4GB ram zoals Dreas aangeeft? Meer? 2 CPU's? Meer?

Wat raad je hoster aan?

Testen, meten, weten enz... Wat is piek, een varnish opstelling kan wonderen doen, andere dingen ook.
Opschalen kan wel iets meer inhouden dat even geheugen bijzetten en CPU cores erbij.

I/O kan wel eens een probleem zijn, enz.

Lees jezelf in, of laat je hoster het e.a. regelen.

Ben wel erg benieuwd wat je onder een piek verstaat.
Wij hebben diverse klanten met TV reclames, en ik kan je verklappen die wil je echt niet op een VPS met 1 core en 1 GB hebben.

Oorspronkelijk geplaatst door Kevin Bentlage

Load (vooraf) inschatten is altijd "lastig". Dit is namelijk erg afhankelijk van de applicatie die erop draait (de website die jullie hebben ontwikkeld).

Enkele punten die van belang zijn;
- Zijn de MySQL queries goed geoptimaliseerd (geen SELECT * FROM `tabel` waar je maar 1 of 2 velden nodig hebt)?

Dat is wel de minst boeiende optimalisatie. Hoe je indices zijn ingesteld en hoe je daar gebruik van maakt des te meer (io op VPS is vaak killing).
Verder denk ik dat zonder extreme optimalisatie en caching je al snel tegen problemen aan gaat lopen.
Een quick win is gebruik maken van cloudflare. Dit kan alle statische verkeer voor je afvangen waardoor je server alleen maar php request hoeft te verwerken. Je kan ook zelf een 2e server met reverse proxy neerzetten met bijv nginx en /of varnish. Een groot probleem namelijk met zowel mysql als apache is dat je te weinig ram hebt, waardoor je gaat swappen en uiteindelijk de boel in de soep loopt.
Een apache proces met alle modules zoals php geladen neemt nogal wat ram in, wat zonde is als het slechts een plaatje hoeft te serveren.

Van je resources zal al gauw 10-15% gaan voor de OS / VPS zelf.
Wat 'kost' je een bezoeker gemiddeld aan resources? 200KB? 0,5 MB? 3 MB? Als je daar achter komt, dan is het een simpele berekening hoe veel bezoekers je aan kan in je huidige set up.

En nog iets, waar ik maar niet genoeg ongenoegen kan uitspreken - indien je website geld zal opleveren - investeer dan erin! Enne niet 1,25 per maand exclusief BTW, maar 30%+ van je inkomsten!

Nogmaals dank voor alle hulp.

Ik heb een apache benchmark gedaan met de volgende resultaten:

Code:

ab -n 500 -c 250

Resultaten

Code:

Concurrency Level:		250
Time taken for tests:	75.481 seconds
Complete requests:		500
Failed requests:		0
Write errors:			0
Total transferred:		5393620 bytes
HTML transferred:		5000000 bytes
Requests per second:	6.62 [#/sec] (mean)
Time per request:		37740.659 [ms] (mean)
Time per request:		150.963 [ms] (mean, across all concurrent request)
Transfer rate:			69.78 [Kbytes/sec] recieved

Connection Times (ms)
				min		 mean	[+/-sd]	median		max
Connect:		 26		  112	 408.7		31	   3421
Processing:	  18175		26967	5843.3	 28002	  38321
Waiting:	  16312		22505	4828.5	 20900	  34132
Total:		  18207		27080	5837.9	 28033	  38368

Percentage of the requests served within a certain time (ms)
 50%	28033
 66%	31094
 75%	31392
 80%	32205
 90%	35121
 95%	38108
 98%	38199
 99%	38341
100%	38368 (longest request)

Geeft dit enige helderheid? Ik kan mij bijna niet voorstellen dat zoveel requests rond de 35 seconden duurt. Of is dit wel mogelijk?
Het is wel de zwaarste pagina die ik opgevraagd heb, maar staat niet heel veel af van de andere pagina's.

Ik heb het geheel gemonitoord via top. De CPU loopt helemaal vol tot ongeveer 95%. Dus die verdient sowieso een upgrade
Echter top laat niets zien op de swap-memory.

Kunnen jullie mij nogmaals van advies voorzien?

Alvast dank!