Load balancing van streaming

[24x7group]

Een klant van ons heeft een grote streaming website die steeds groter en groter wordt. Hij wil de load graag spreiden (balancen) over verschillende locaties en verschillende servers.

Heeft iemand enige tips hoe dit te realiseren zonder al te grote investeringen te moeten doen?
Ter info, het gaat om verschillende datacenters en netwerken en om 1 website.

Moeten we dan naar een DNS load balancing oplossing zien?

[SmilieBG]

Zoiets heeft KPN voor hun streaming diensten (o.a. bijvoorbeeld 2e kamer).

Zou het een optie zijn om dergelijke dienst in te kopen (hoeft niet KPN, ze zullen niet de goedkoopste zijn). Het is namelijk behoorlijk wat hardware / netwerk welke goed moet werken.

Concrete oplossingen heb ik helaas niet voor je

Mvg,
Smilie

[QBell]

Ik heb een vergelijkbare oplossing al eens gemaakt voor een grote website (alexa top 200 site). Ik kan je hierin ondersteunen en/of voor je uitrollen.

Om de details te bespreken verwijs ik je graag naar mijn email: info@qbell.nl

[24x7group]

Ik hoor enkel graag tips wat hiervoor nodig is om dit te realiseren, ik wil dit niet uitbesteden.

[Yourwebhoster]

Je zou met roundrobin DNS en geo DNS deels kunnen bepalen (hopen dat de DNS server dan vlakbij de bezoeker is) op welke servers de bezoeker kan komen. Vervolgens kan je weer verder gaan met bijvoorbeeld lvs (http://www.linuxvirtualserver.org/). Ik heb alleen geen ervaring met load balanced streaming.

Of bedoel je iets anders?

[Wido]

Met LVS kan je inderdaad prima loadbalancen met grote hoeveelheden dataverkeer, dat is geen enkel probleem daarmee. Je loadbalancer kan een simpele Atom zijn (serieus!) en toch kan je diverse Gbit's aan dataverkeer afhandelen.

Over verschillende netwerken loadbalancen is lastig, maar er zijn truukjes die je zou kunnen toepassen:

* Serveer aan elke bezoeker een andere URL (dmv PHP oid op de website)
* Gebruik zoals genoemd Round Robin DNS
* Maak een HTTP redirector

Het laatste heeft wellicht iets meer uitleg nodig. Je maakt één centrale server waar de clients het verzoek naar doen (kan ook een cluster zijn), die stuurt geen data terug, maar redirect de client naar een andere HTTP locatie die de stream bevat.

Dit komt zo even in me op, heb vooral het laatste niet getest, maar is een mogelijkheid, alleen wordt dat netwerk dan wel de SPoF, maar dat is de website ook al denk ik.

[QBell]

Ik hoor enkel graag tips wat hiervoor nodig is om dit te realiseren, ik wil dit niet uitbesteden.

Dit is mijn specialiteit, ik hou mij dagelijks met dit soort vraagstukken bezig maar ik moet ook brood verdienen, sorry .

[ju5t]

Je kunt eventueel kijken naar Erlyvideo. Stukje Open Source software met helaas wat gebrekkige documentatie. Maar het werkt wel. Je kunt volgens mij load balancen in samenwerking met Nginx, maar daar heb ik geen ervaring mee. Ook met Erlyvideo zelf is het slechts basis kennis.

Maar misschien is het handig om te vertellen om wat voor streaming het gaat :-)

[ichat]

wat ik jammer vind is dat je vergeet te melden om welke vorm van streaming heet gaat ...
voor zover ik weet kun je namelijk in veel gevallen perfect gebruik maken van de (eerder genoemde) php methode. Dan hoef je eigenlijk alleen je streaming servers maar te pollen (oid) om na te gaan welke server de minste load heeft en dus de referal krijgt. denk aan http;//website.com/listen.php.pls

Dat lijkt mij veruit de gemakkelijkste oplossing

[QBell]

wat ik jammer vind is dat je vergeet te melden om welke vorm van streaming heet gaat ...
voor zover ik weet kun je namelijk in veel gevallen perfect gebruik maken van de (eerder genoemde) php methode. Dan hoef je eigenlijk alleen je streaming servers maar te pollen (oid) om na te gaan welke server de minste load heeft en dus de referal krijgt. denk aan http;//website.com/listen.php.pls

Dat lijkt mij veruit de gemakkelijkste oplossing

Zou mooi zijn hé?....
Je blijft hiermee echter wel altijd een Single Point Of Failure houden (dit is meer het probleem verleggen van streaming naar http).

[24x7group]

Bedankt voor alle info. Mijn klant is nog even aan het overleggen bij zijn programmeur hoe alles momenteel in elkaar zit. Het gaat om video streaming, soort van youtube variant waar partijen filmpjes kunnen uploaden. Meer info heb ik hier voorlopig ook niet van. Enige wat ik wel weet is dat deze site snel groeit en hij het wil spreiden over verschillende servers.

[cyberbootje]

Zou mooi zijn hé?....
Je blijft hiermee echter wel altijd een Single Point Of Failure houden (dit is meer het probleem verleggen van streaming naar http).

Als je daar een failover van maakt(heartbeat etc..) dan hoeft dat toch geen SPOF te zijn?

Overigens een HAproxy kan net zo goed werken, gewoon de aanvragen eerlijk verdelen over de nodes.
Wel een redirect doen en niet de streaming door de lB heen laten lopen.

[Mikey]

Sterker nog, haproxy kan tevens tcp voor je load balancen. Waarbij je een complete pool samen kan stellen, checks op kan zetten en tevens een failover mechanisme in kan richten die de gebruiker kan opvangen in geval je aan je limits zit of bij outage.

[Mikey]

Als je daar een failover van maakt(heartbeat etc..) dan hoeft dat toch geen SPOF te zijn?

Overigens een HAproxy kan net zo goed werken, gewoon de aanvragen eerlijk verdelen over de nodes.
Wel een redirect doen en niet de streaming door de lB heen laten lopen.

Wel een redirect doen en niet de streaming door de lB heen laten lopen.

Waarom niet ? Door middel van sticky sessions en acl kun je gewoon je setup compleet over je LB sturen en bij uitval over laten pakken. Verder is het een stream die je LB geen load zal verzorgen omdat de stream door je nodes voorzien wordt. Bij fatsoenlijke hardware zou dit allemaal geen probleem mogen zijn.

[cyberbootje]

Waarom niet ? Door middel van sticky sessions en acl kun je gewoon je setup compleet over je LB sturen en bij uitval over laten pakken. Verder is het een stream die je LB geen load zal verzorgen omdat de stream door je nodes voorzien wordt. Bij fatsoenlijke hardware zou dit allemaal geen probleem mogen zijn.

Nouja je hebt gelijk, load zal het probleem wel niet zijn maar ergens houden de interfaces op en is de bandbreedte vol, daar doelde ik een beetje op.
Bij een redirect pak je de interface van elke node en zo kan je eindeloos doorlussen.