Re: loadbalanced webservers

[Alain]

"Pugi!" <puginews@gmail.com> schreef in bericht
news:6253f066-a164-4f89-b736-2a8c532c4aa7@n20g2000hsh.googlegroups.com...
> Mijn bedenkingen: ten eerste is volgens mij een mysql db eerder een
> bottleneck dan de webserver en ten tweede het gaat vooral om joomla
> sites, hoe zit dat als je ingelogd bent; sessions worden bijgehouden
> per webserver.


Anderen zeiden het al, meten is weten. Vraag is ook de specs bijvoorbeeld.
Als je een fileserver draait op een ide 5400rpm schijfje of op een scsi
15.000rpm schijf met RAID mirroring maakt nogal een verschil. Bij websites
is mijn ervaring dat meestal de bottleneck toch wel bij de database ligt dus
daar zou ik eerder naar kijken. Overigens zijn er tegenwoordig wel betere,
betrouwbaardere en mooiere oplossingen dan met 2 aparte webservers te gaan
loadbalancen. Wellicht was/is het een beter idee om een bedrijf in handen te
nemen die hier gewoon ervaring mee heeft. Zoiets uit het niets opzetten en
dat het ook nog goed en functioneel werkt is over het algemeen niet zo
simpel.

[Leihcim]

Alain wrote:
> "Pugi!" <puginews@gmail.com> schreef in bericht
> news:6253f066-a164-4f89-b736-2a8c532c4aa7@n20g2000hsh.googlegroups.com...
>
>>Mijn bedenkingen: ten eerste is volgens mij een mysql db eerder een
>>bottleneck dan de webserver en ten tweede het gaat vooral om joomla
>>sites, hoe zit dat als je ingelogd bent; sessions worden bijgehouden
>>per webserver.
>
>
>
> Anderen zeiden het al, meten is weten. Vraag is ook de specs bijvoorbeeld.
> Als je een fileserver draait op een ide 5400rpm schijfje of op een scsi
> 15.000rpm schijf met RAID mirroring maakt nogal een verschil. Bij websites
> is mijn ervaring dat meestal de bottleneck toch wel bij de database ligt dus
> daar zou ik eerder naar kijken. Overigens zijn er tegenwoordig wel betere,
> betrouwbaardere en mooiere oplossingen dan met 2 aparte webservers te gaan

Kun je een hint geven naar deze oplossingen ?

> loadbalancen. Wellicht was/is het een beter idee om een bedrijf in handen te
> nemen die hier gewoon ervaring mee heeft. Zoiets uit het niets opzetten en
> dat het ook nog goed en functioneel werkt is over het algemeen niet zo
> simpel.
>
>

[hannes]

Leihcim wrote:
> Alain wrote:
>> "Pugi!" <puginews@gmail.com> schreef in bericht
>> news:6253f066-a164-4f89-b736-2a8c532c4aa7@n20g2000hsh.googlegroups.com...
>>
>>> Mijn bedenkingen: ten eerste is volgens mij een mysql db eerder een
>>> bottleneck dan de webserver en ten tweede het gaat vooral om joomla
>>> sites, hoe zit dat als je ingelogd bent; sessions worden bijgehouden
>>> per webserver.
>>
>>
>> Anderen zeiden het al, meten is weten. Vraag is ook de specs bijvoorbeeld.
>> Als je een fileserver draait op een ide 5400rpm schijfje of op een scsi
>> 15.000rpm schijf met RAID mirroring maakt nogal een verschil. Bij websites
>> is mijn ervaring dat meestal de bottleneck toch wel bij de database ligt dus
>> daar zou ik eerder naar kijken. Overigens zijn er tegenwoordig wel betere,
>> betrouwbaardere en mooiere oplossingen dan met 2 aparte webservers te gaan
>
> Kun je een hint geven naar deze oplossingen ?
>
>> loadbalancen. Wellicht was/is het een beter idee om een bedrijf in handen te
>> nemen die hier gewoon ervaring mee heeft. Zoiets uit het niets opzetten en
>> dat het ook nog goed en functioneel werkt is over het algemeen niet zo
>> simpel.
>>
>>

Wat een andere oplossing zou zijn is gewoon een DNS gebruiken die met
een round robin systeem werkt.
Dan blijft elke user gedurende een bepaalde tijd bij een bepaalde server.
Dan ga je wss ook minder last hebben van die sessies die vervallen enzo.

Hannes

[Alain]

"Leihcim" <yourlove@welovespam.nl> schreef in bericht
news:47b44208$0$85790$e4fe514c@news.xs4all.nl...
> Kun je een hint geven naar deze oplossingen ?


Er zijn meerdere oplossingen en afhankelijk van de situatie is de ene
oplossing weer beter dan de ander. Maar enkele mogelijke oplossingen waar
wij mee werken zijn clusters en blades. Daarnaast heeft Intel tegenwoordig
ook een hele leuke modulaire oplossing (das ook een soort blade). Al deze
oplossingen zijn heel betaalbaar (<5000 euro) zolang je niet te hoge eisen
hebt en zijn meestal veel meer betrouwbaar dan zelf een loadbalanced
oplossing bouwen met losse servers. Daarnaast is het vaak goedkoop uit te
breiden naar nog meer capaciteit.

[Nico Coesel]

Leihcim <yourlove@welovespam.nl> wrote:

>Alain wrote:
>> "Pugi!" <puginews@gmail.com> schreef in bericht
>> news:6253f066-a164-4f89-b736-2a8c532c4aa7@n20g2000hsh.googlegroups.com...
>>
>>>Mijn bedenkingen: ten eerste is volgens mij een mysql db eerder een
>>>bottleneck dan de webserver en ten tweede het gaat vooral om joomla
>>>sites, hoe zit dat als je ingelogd bent; sessions worden bijgehouden
>>>per webserver.
>>
>> Anderen zeiden het al, meten is weten. Vraag is ook de specs bijvoorbeeld.
>> Als je een fileserver draait op een ide 5400rpm schijfje of op een scsi
>> 15.000rpm schijf met RAID mirroring maakt nogal een verschil. Bij websites
>> is mijn ervaring dat meestal de bottleneck toch wel bij de database ligt dus
>> daar zou ik eerder naar kijken. Overigens zijn er tegenwoordig wel betere,
>> betrouwbaardere en mooiere oplossingen dan met 2 aparte webservers te gaan
>
>Kun je een hint geven naar deze oplossingen ?

Een front-side proxy gebruiken (bijvoorbeeld squid). Dan worden de
meeste gevraagde pagina's in de proxy cache bewaart. Op een vrij
drukke website scheelt dat zo'n 60% aan verkeer dat niet door de
webserver + database wordt afgehandeld. Het is wel noodzakelijk om de
content zodanig op te zetten dat deze gecached kan worden. Met Apache
is dit vrij eenvoudige te bereiken met mod_rewrite.

--
Programmeren in Almere?
E-mail naar nico@nctdevpuntnl (punt=.)

[Hans]

On Fri, 22 Feb 2008 19:46:15 GMT, Nico Coesel <nico@puntnl.niks> wrote:
>
> Een front-side proxy gebruiken (bijvoorbeeld squid). Dan worden de
> meeste gevraagde pagina's in de proxy cache bewaart. Op een vrij
> drukke website scheelt dat zo'n 60% aan verkeer dat niet door de
> webserver + database wordt afgehandeld. Het is wel noodzakelijk om de
> content zodanig op te zetten dat deze gecached kan worden. Met Apache
> is dit vrij eenvoudige te bereiken met mod_rewrite.

Hoe druk bedoel je Nico? Ga je dat afmeten aan afbeeldingen die
men op vraagt? Of aan berichten die men elkaar mail zoals op
Hyves?

Hans

--
IM: hans.wolters@xs4all.nl
http://lonki.xs4all.nl

[Nico Coesel]

Hans <replyelsewhere@lonki.xs4all.nl> wrote:

>On Fri, 22 Feb 2008 19:46:15 GMT, Nico Coesel <nico@puntnl.niks> wrote:
>>
>> Een front-side proxy gebruiken (bijvoorbeeld squid). Dan worden de
>> meeste gevraagde pagina's in de proxy cache bewaart. Op een vrij
>> drukke website scheelt dat zo'n 60% aan verkeer dat niet door de
>> webserver + database wordt afgehandeld. Het is wel noodzakelijk om de
>> content zodanig op te zetten dat deze gecached kan worden. Met Apache
>> is dit vrij eenvoudige te bereiken met mod_rewrite.
>
>Hoe druk bedoel je Nico? Ga je dat afmeten aan afbeeldingen die
>men op vraagt? Of aan berichten die men elkaar mail zoals op
>Hyves?

Aantal opgevraagde pagina's. Zeg enkele duizenden bezoekers per dag.
20GB per maand aan meerendeels html verkeer. Zonder de front-side
proxy zou het dataverkeer nog eens 30% hoger liggen.

--
Programmeren in Almere?
E-mail naar nico@nctdevpuntnl (punt=.)

[Hans]

On Sun, 24 Feb 2008 18:32:02 GMT, Nico Coesel <nico@puntnl.niks> wrote:
> Hans <replyelsewhere@lonki.xs4all.nl> wrote:
>
>>> Een front-side proxy gebruiken (bijvoorbeeld squid). Dan worden de
>>> meeste gevraagde pagina's in de proxy cache bewaart. Op een vrij
>>> drukke website scheelt dat zo'n 60% aan verkeer dat niet door de
>>> webserver + database wordt afgehandeld. Het is wel noodzakelijk om de
>>> content zodanig op te zetten dat deze gecached kan worden. Met Apache
>>> is dit vrij eenvoudige te bereiken met mod_rewrite.
>>
>>Hoe druk bedoel je Nico? Ga je dat afmeten aan afbeeldingen die
>>men op vraagt? Of aan berichten die men elkaar mail zoals op
>>Hyves?
>
> Aantal opgevraagde pagina's. Zeg enkele duizenden bezoekers per dag.
> 20GB per maand aan meerendeels html verkeer. Zonder de front-side
> proxy zou het dataverkeer nog eens 30% hoger liggen.

Is op zich nog goed te doen als je een beetje redelijk getunende server(s)
hebt. Zelf al eens te maken gehad met een site die s'avonds zo'n 200
concurrent bezoekers had.

Hans

--
IM: hans.wolters@xs4all.nl
http://lonki.xs4all.nl

[Nico Coesel]

Hans <replyelsewhere@lonki.xs4all.nl> wrote:

>On Sun, 24 Feb 2008 18:32:02 GMT, Nico Coesel <nico@puntnl.niks> wrote:
>> Hans <replyelsewhere@lonki.xs4all.nl> wrote:
>>
>>>> Een front-side proxy gebruiken (bijvoorbeeld squid). Dan worden de
>>>> meeste gevraagde pagina's in de proxy cache bewaart. Op een vrij
>>>> drukke website scheelt dat zo'n 60% aan verkeer dat niet door de
>>>> webserver + database wordt afgehandeld. Het is wel noodzakelijk om de
>>>> content zodanig op te zetten dat deze gecached kan worden. Met Apache
>>>> is dit vrij eenvoudige te bereiken met mod_rewrite.
>>>
>>>Hoe druk bedoel je Nico? Ga je dat afmeten aan afbeeldingen die
>>>men op vraagt? Of aan berichten die men elkaar mail zoals op
>>>Hyves?
>>
>> Aantal opgevraagde pagina's. Zeg enkele duizenden bezoekers per dag.
>> 20GB per maand aan meerendeels html verkeer. Zonder de front-side
>> proxy zou het dataverkeer nog eens 30% hoger liggen.
>
>Is op zich nog goed te doen als je een beetje redelijk getunende server(s)
>hebt. Zelf al eens te maken gehad met een site die s'avonds zo'n 200
>concurrent bezoekers had.

Klopt. De server in kwestie was op het tienvoudige aan verkeer
berekent. De front-side proxy had ik ook nog zodanig ingesteld dat de
bandbreedte per bezoeker gelimiteerd was en uiteraardt de zoekmachines
nog verder afgeknepen. Enkele tientallen sessies tegelijk die op volle
snelheid een paar GB naar Google gaan overpompen vind geen enkele
server fijn.

--
Programmeren in Almere?
E-mail naar nico@nctdevpuntnl (punt=.)

[Hans]

On Tue, 26 Feb 2008 21:17:06 GMT, Nico Coesel <nico@puntnl.niks> wrote:
> Hans <replyelsewhere@lonki.xs4all.nl> wrote:
>
>>>>Hoe druk bedoel je Nico? Ga je dat afmeten aan afbeeldingen die
>>>>men op vraagt? Of aan berichten die men elkaar mail zoals op
>>>>Hyves?
>>>
>>> Aantal opgevraagde pagina's. Zeg enkele duizenden bezoekers per dag.
>>> 20GB per maand aan meerendeels html verkeer. Zonder de front-side
>>> proxy zou het dataverkeer nog eens 30% hoger liggen.
>>
>>Is op zich nog goed te doen als je een beetje redelijk getunende server(s)
>>hebt. Zelf al eens te maken gehad met een site die s'avonds zo'n 200
>>concurrent bezoekers had.
>
> Klopt. De server in kwestie was op het tienvoudige aan verkeer
> berekent. De front-side proxy had ik ook nog zodanig ingesteld dat de
> bandbreedte per bezoeker gelimiteerd was en uiteraardt de zoekmachines
> nog verder afgeknepen. Enkele tientallen sessies tegelijk die op volle
> snelheid een paar GB naar Google gaan overpompen vind geen enkele
> server fijn.

Google is nog wel in te stellen, verify header in de pagina(s) en op
slow crawling zetten. Ook luisteren ze redelijk goed naar niet geldige
robot.txt entries. Andere botjes zijn idd wat lastiger.

Hans


--
IM: hans.wolters@xs4all.nl
http://lonki.xs4all.nl