Onderwerp: Software loadbalancer ideeen gezocht

Hi there,

ik ben op zoek naar het volgende (liefst op centos/debian):

Een software loadbalancer met de volgende eigenschappen:
* poort 80 loadbalancen (rest is optioneel)
* meerdere backends (uiteraard)
* moet op basis van een path kunnen routen naar een specifieke backend, bv : als path is /specialefile.php -> gebruik backend #2
* makkelijk een lijst van domeinnamen/backend combinaties toevoegen (API?)
* op basis van path en source IP een tellertje bijhouden, als een IP binnen X sec. tevaak een bepaald path oproept, deze een 50x error teruggeven.

Optioneel
* liefst ook op basis van een wildcard routen: bv: als path is /*.jpg -> gebruik backend #3
* backends met gewichten
* backend health checks


Heeft iemand ideeen (liefst met eigen ervaring) ?

Wij hebben hier zeer goede ervaringen met HAProxy en IPVS/Keepalived. De eerste is iets makkelijker te gebruiken
en wat uitgebreider in mogelijkheden en monitoring.

Inderdaad volgens mij kan HAproxy bijna alles uit dit lijstje ?

Zou alleen niet uit mijn hoofd weten of hij ook de z'n teller kan bijhouden.

De teller is wel redelijk belangrijk om in te zetten als simpele WAF, oftewel zware aanroepen welke een normaal persoon/source IP maar X keer per Y tijdseenheid op zou hoeven te roepen.

Oorspronkelijk geplaatst door Ramon Fincken

De teller is wel redelijk belangrijk om in te zetten als simpele WAF, oftewel zware aanroepen welke een normaal persoon/source IP maar X keer per Y tijdseenheid op zou hoeven te roepen.

De 50x error mag ook een rate limit worden trouwens

Oorspronkelijk geplaatst door Ramon Fincken

De 50x error mag ook een rate limit worden trouwens

Net even opgezocht, je kan een rate limit functie gebruiken in HAProxy

Volgens mij moet wat je zoekt kunnen met Varnish. Een afwijkende vcl is er wel voor vereist, maar dan moet het kunnen. Voor een HA laag kun je bij voor Varnish weer IPVS/Keepalived zetten (IPVS/Keepalived mist namelijk de optie om simpel content gebaseerde keuzes te maken waar Varnish die wel heeft).

Ik stem voor HAProxy. Draaien we al jaren met volle tevredenheid.


----
WIPA Nederland - https://wipa.nl

Het meeste kan ook via Nginx. Gebruik het volle tevredenheid voor diverse sites. Afhankelijk van het path wordt dan een plaatje of iets anders van een andere backendserver of uit de cache getoverd.
Met toevoegen van meerdere backends kan zonder probleem en ook gewicht hier aan geven is een optie.
Zelf heb ik geen ervaring met health checks, maar ik zie dat zoiets zonder probleem kan.

Zelf heb ik geen ervaring met HAProxy. Zou zeker willen weten of veel dit met tevredenheid gebruiken.

@Mark / @joriz : hoe zou deze requirement werken met varnish/nginx?
* op basis van path en source IP een tellertje bijhouden, als een IP binnen X sec. tevaak een bepaald path oproept, deze een 50x error teruggeven.

Ik vraag me af of die stukken software daar wel handig voor zijn of dat het nogal wat werk is om te configgen.

Aan Nginx kan je vele modules toevoegen. Waardoor het standaard zeer licht is. ik zie dat er twee modules zijn die kunnen limiteren hoe vaak een aanvragen ergens op binnen komt. Heb het nog niet getest. Wel kan ik je zeggen dat je hiermee zeer voorzichtig moet zijn. False positives lijken me namelijk niet echt wenselijk.

http://nginx.org/en/docs/http/ngx_ht...nn_module.html
http://nginx.org/en/docs/http/ngx_ht...eq_module.html

Nginx configureren kan inderdaad veel tijd in gaan zitten. Alles is echter zeer goed gedocumenteerd en redelijk makkelijk te begrijpen (met Varnish had ik meteen ruzie). Vooral de Wiki kan zeer veel informatie uit worden gehaald.

Kan ik correct opmaken dat je een HA oplossing wilt hebben voor één specifieke website of gaat het om een compleet hostingplatform met vele sites?

Als je geen SSL nodig hebt is HaProxy leuke software. Anders moet je er iets als Pound voor zetten of Nginx gebruiken. Al kan Varnish natuurlijk ook.

Oorspronkelijk geplaatst door getUP

Als je geen SSL nodig hebt is HaProxy leuke software. Anders moet je er iets als Pound voor zetten of Nginx gebruiken. Al kan Varnish natuurlijk ook.

Sinds versie 1.5 is er native SSL support.

Oorspronkelijk geplaatst door Ramon Fincken

@Mark / @joriz : hoe zou deze requirement werken met varnish/nginx?
* op basis van path en source IP een tellertje bijhouden, als een IP binnen X sec. tevaak een bepaald path oproept, deze een 50x error teruggeven.

Ik vraag me af of die stukken software daar wel handig voor zijn of dat het nogal wat werk is om te configgen.

Voor Varnish zijn er opties om bij te houden (eventueel per IP) hoe vaak een bepaalde URL in een bepaalde tijd is opgevraagd. Vervolgens kun je vrij simpel met een if statement een actie uitvoeren bij een bepaald aantal verzoeken (voor 1 bestand met eventueel een aantal per IP er bij). Persoonlijk zou ik het gebruik wel beperken (het heeft mogelijk een kleine negatieve impact op de performance)

Dat wist ik niet. Het hikte er al een tijdje tegen aan geloof ik, maar dat is wel goed om te weten!