Onderwerp: Aparte server voor images

Heren,

In verband met het beperken van de load zat ik eraan te denken de images vanaf een andere server te halen. Is de load die ik hiermee bespaar aanzienlijk genoeg om het werk erin te steken (op den duur zullen er behoorlijk wat images komen..).

En hoe kan ik zoiets het beste aanpakken, een webserver zoals lightppd installeren, alle files uploaden en de paden aanpassen?

Alvast bedankt!

Dat ligt eraan
Load komt meestal niet van de images (correct me if I'm wrong) maar wordt gedaan om de aantal connecties te verdelen over verschillende servers.
Ik zou eerder de SQL verhuizen naar een aparte server (als je dat nog niet hebt)

Oorspronkelijk geplaatst door Piwi-Web

Dat ligt eraan
Load komt meestal niet van de images (correct me if I'm wrong) maar wordt gedaan om de aantal connecties te verdelen over verschillende servers.
Ik zou eerder de SQL verhuizen naar een aparte server (als je dat nog niet hebt)

Nee, heb ik nog niet... Wellicht is dat iets om eens naar te kijken, dus de mysql deamon op een secundaire server zetten, in combinatie met phpmyadmin, poort 3306 open zetten en vanaf het script daar verbinding mee maken, heel even simpel bekeken (terwijl er waarschijnlijk wel het een en ander bij komt kijken, maar dat zoeken we wel op ) ?

Ik denk dat je beter eerst kan kijken waar de load in zit, want volgens mij weet je dat nog niet

Nou, op het moment is het zo dat ik preventief een aantal oplossingen wil hebben om de load terug te dringen.. Ik verwacht namelijk heel wat pageviews op het moment dat we online gaan, nu heb ik een stresstest uit laten voeren, met 700 pageviews per seconde (wat iets meer is dan dat ik daadwerkelijk verwacht, maar wel een piek kan zijn).

Directadmin geeft hierop een load van laag in de 2.xx wat nét kan met een Dual Core bak volgens mij? Kan ik tijdens tijdens de stress test misschien even top of ps -aux uitvoeren om een beter beeld van de load te krijgen?

Vervelende zou alleen kunnen zijn is dat als je een hoge pageview hebt en je hebt de images ergens anders staan dat je dan je netwerk enorm gaat belasten, dat komt je latency ook weer niet ten goede lijkt mij.

Allemaal leuk en aardig, maar m.b.t. je test:
- wat voor script draai je?
- op wat voor hardware?
- hoe heb je die test uitgevoerd?
- wat draaide er nog meer op dat moment?
- hoe heb je de DA bak geconfigureerd?
- hoe worden de images geladen?
- heb je iets van de MySQL config aangepast, of standaard DA? (waarvan er ook 3 standaard aanwezig zijn)
- blablabla, vindt ik het onzin om zomaar iets te roepen...

- Ik draai op een custom script, helemaal geoptimaliseerd..

- Intel Dual Core 1.8 Ghz, 2 GB DDR2, Centos 32b..

-Test is uitgevoerd met een daarvoor bestemd tooltje (naam even ontgaan).

- Op dat moment draaide apache, mysql, bind, dovecot & exim.

- Hoe bedoel je?

- Hoe bedoel je?

- Standaard DA MySQL, valt er winst op te behalen na het tweaken eraan?

Wat zorgt voor de load? Wat is de I/O (iostat)? Je kan met 'ps' heel snel zien wat veel CPU/RAM op zich neemt. Je geeft te weinig info om met een 'oplossing' te komen.

ben wel benieuwd welk tooltje je daarvoor gebruikt hebt..

Ik gebruik s3 van amazon voor fotos ( en alles wat statisch is). Werkt super betaal tussen 5-15 dollar p/m. Host rond de 100duizend bestanden met ongeveer 1/1.5miljoen hits.

http://aws.amazon.com/s3/
http://s3tools.org/s3cmd (cli linux)
http://getcloudfusion.com/ (php framework)

- optioneel CDN (cloudfront)
- kunt CNAME aanmaken (http://media.domein.nl/pic123.jpg)
- ook https
- elke verbinding is ongeveer 300kb/s (cloudfront > 2mb/s)
- het is onbeperkt je betaalt wat je gebruikt/verbruikt
- geen zorgen over backup

Oorspronkelijk geplaatst door T. Verhaeg

- Standaard DA MySQL, valt er winst op te behalen na het tweaken eraan?

MySQL: http://help.directadmin.com/item.php?id=44 helpt je iig de goede kant op. Verder valt in andere gevallen ook performance te halen, zoals caching en wellicht het gebruik van een accelerator voor PHP.

Oorspronkelijk geplaatst door hendrik87

Ik gebruik s3 van amazon voor fotos ( en alles wat statisch is). Werkt super betaal tussen 5-15 dollar p/m. Host rond de 100duizend bestanden met ongeveer 1/1.5miljoen hits.

http://aws.amazon.com/s3/
http://s3tools.org/s3cmd (cli linux)
http://getcloudfusion.com/ (php framework)

- optioneel CDN (cloudfront)
- kunt CNAME aanmaken (http://media.domein.nl/pic123.jpg)
- ook https
- elke verbinding is ongeveer 300kb/s (cloudfront > 2mb/s)
- het is onbeperkt je betaalt wat je gebruikt/verbruikt
- geen zorgen over backup

Volgens een aantal berekeningen is Amazon s3 te duur; $150 per TB opslag en per TB dataverkeer als ik het zo zie. Dan kan je beter een eigen server nemen als je de images apart wilt hebben.

Ja staat ook wat tegenover:
- betaalt alleen voor wat je gebruikt (goedkoop voor starters)
- geen zorgen over backup
- uptime tegen de 100%
- extreem schaalbaar
- simpele API , geen gedoe met RAID / filesystems / software (OS,webserver,updates)
- sinds kort ook versioning etc
- geen overboeking, elke verbinding is 300kb/s

Wil je zelf 1TB serveren , moet je ook minimaal 1TB backup hebben.

Naar mate je groeit kun je het anders gaan gebruiken. Door alleen de belangrijkste bestanden erop te zetten en de rest op een eigen server. Of je plaatst er een proxy server met cache voor.

Oorspronkelijk geplaatst door T. Verhaeg

nu heb ik een stresstest uit laten voeren, met 700 pageviews per seconde (wat iets meer is dan dat ik daadwerkelijk verwacht, maar wel een piek kan zijn).

Heb je tijdens het uitvoeren van deze stresstest de MYSQL caching uitgezet? Als je script in real-life wel met muterende data uit MYSQL te maken heeft dan kan een stress test een heel vertekend beeld geven omdat deze vrolijk uit de cache aan het graaien is. Wellicht had je hier zelf al aan gedacht, maar misschien ook niet

Iets dat niets kost, simpel is en een antwoord kan geven:

Installeer op je huidige server Nginx en gebruik dat om alle statische content te leveren, de (dynamische) rest stuur je door naar Apache.

In alle gevallen waar ik dit als eerste oplossing heb gedaan scheelde dat aanzienlijk.