Onderwerp: horizontaal schalen van shared hosting

Oorspronkelijk geplaatst door asusk7m550

Hier hebben we al eerder over nagedacht, maar je zult dan nog steeds alle websites op 1 server hebben draaien. Eén website draait dan wel ook op meerdere servers. Maar volgens mij is dit nog steeds niet erg wenselijk.

Op het moment dat je bijvoorbeeld 10.000 website host, krijg je deze toch niet op 1 server. Je zult dat namelijk problemen krijgen met het maximum aan open bestanden enzo.

Verder heb ik gekeken naar WHMCS, maar daar is het volgens mij niet mogelijk om de verschillende services verspreid op meerdere servers te draaien.

Is dat niet de reden waarom een cluster bestaat, een cluster is niet 1 server maar verschillende servers (zelf verschillende cpu's) door software aan elkaar gekoppeld. De software samen met de loadbalancers zorgt voor een goede verdeling tussen de nodes. De toegewezen node zal dus de files openen en inlezen vanaf de storage (SAN).

Als we even kijken, de CIA, FBI, pentagon, NASA, Dreamworks gebruiken allemaal clusters en dat zal wel met een reden zijn lijkt me.

Clusteren kan op vele manieren dus dat zegt weinig.

Oorspronkelijk geplaatst door The-BosS

Als we even kijken, de CIA, FBI, pentagon, NASA, Dreamworks gebruiken allemaal clusters en dat zal wel met een reden zijn lijkt me.

Ik denk niet dat bovenstaande organisaties op een server (of een cluster) meerdere website hebben draaien. Op het moment dat je veel bezoekers hebt op één website, is het goed om een cluster te gebruiken. Maar op het moment dat je per website weinig bezoekers hebt, maar wel veel websites is een cluster denk ik niet de oplossing.

Mogelijk dat een cluster op een andere manier gebruikt kan worden.

Je kan in WHMCS via het klanten gedeelte inloggen op het controlepanel van de betreffende server. (Althans.. cPanel. Plesk en DA weet ik niet, maar lijkt mij wel)

Om mail en DB ed automatisch aan te maken op aparte servers moet je wel zelf wat knutselen denk ik..

Als je bij het punt komt waarop je teveel specifieke eisen hebt, kan je ervoor kiezen om zelf scripts te maken die alles over de beschikbare servers distribueert, en overhevelt wanneer dat nodig is.

Dan is het alleen nog een kwestie van kijken naar welke CP's daar het best voor geschikt zijn.

Zover ben ik ondertussen ook zelf. Jammer dat er geen standaard oplossing is die we kunnen gebruiken.

Zoals ik het nu kan zien, moet ik inderdaad zlef aan de gang.

Controlpanels als Plesk en DirectAdmin zijn leuk, maar niet makkelijk horizontaal te schalen, laat staan te clusteren. En een losse MySQL, DNS of mailserver maakt nog geen cluster. Losse onderdelen zijn prima te clusteren, een NIS / LDAP / AD server heb je zeker nodig alsmede centrale storage. Neem er twee loadbalancers bij en zet een codeslaaf aan het werk om de provisioning te regelen.

Het lijkt vrij makkelijk, maar alles begint natuurlijk met een goed Functioneel Ontwerp. En om die te kunnen maken, heb je eerst de wensen nodig. Wil je Windows of Linux based, welke SQL-servers wil je hebben, welke mailapplicatie ga je gebruiken, hoe ga je je back-ups inregelen en hoe ga je deze bij een grote fail binnen 4 uur herstellen. Zomaar even wat vragen om je op weg te helpen.

Echte out-of-the-box oplossingen bestaan niet.

Met Randy, iedereen hangt maar aan een controle paneel, waardoor je problemen krijgt.

Horizontaal schalen met webhosting gaat prima, wij hebben cluster met enkele duizenden websites er op, daar zijn de webservers en de storage horizontaal geschaald.

Maar dan heb je wel een 100% custom oplossing draaien waar je dus te krijgen maakt met een LDAP e.d. voor je logins, mail en zulke zaken.

Als je zoiets dus wil doen, dan zal je een controle paneel los moeten laten en naar een custom oplossing moeten gaan.

Dat is nou net wat ik bedoel, zou jij meer uit de doeken kunnen doen hoe jullie daar in zijn begonnen?

Je blijft constant bezig, al heb denk ik dat we de afgelopen 1.5 jaar een stabiele omgeving hebben waarmee alles beter en stabiel draait.

Het is proberen, proberen en nog eens testen. Je gaat echt van alles tegen komen, maar dat zijn zo veel dingen, dat valt zo even niet op te sommen.

Wij willen ook geen kant en klare oplossing, daar leer je namelijk zelf niets van. Wel vroeg ik me af hoe de infrastructuur er uit ziet.

Ik neem aan dat je een aantal webserver hebt (met apache). Draaien alle websites op alle servers, of maken jullie nog onderscheid tussen de verschillende websites?
Hoeveel websites hebben jullie bijvoorbeeld op 1 server staan? Ik ga ervanuit dat 1 website ook op meerdere servers staat. Zodat je kunt loadbalancen tussen de verschillende servers.

Qua storage begrijp ik wel hoe je dit in een cluster kunt oplossen.

Verder vroeg ik me ook nog af hoe je het ophalen van de email kunt regelen. Staan alle emailadressen op 1 mailserver (natuurlijk inclusief loadbalancing) of hebben jullie de emailadressen verspreid over meerdere servers.

Graag wil ik het begin goed doen, zodat we later niet tegen problemen aan lopen waardoor we alles opnieuw moeten migreren. Ik weet nu al dat we tegen problemen aan gaan lopen, maar dat is vanzelf sprekend.

Oorspronkelijk geplaatst door asusk7m550

Ik neem aan dat je een aantal webserver hebt (met apache). Draaien alle websites op alle servers, of maken jullie nog onderscheid tussen de verschillende websites?

We hebben verschillende clusters, per SLA bepalen we op welk cluster je komt.

Hoeveel websites hebben jullie bijvoorbeeld op 1 server staan? Ik ga ervanuit dat 1 website ook op meerdere servers staat. Zodat je kunt loadbalancen tussen de verschillende servers.

We hebben niet een aantal websites per server, elke webserver in het cluster handelt aanvragen af voor alle websites op dat cluster.

We kijken ook niet naar hoe veel sites er op kunnen, nee, hoe veel resources er nog over zijn, op basis daarvan gaat er hardware bij.

Verder vroeg ik me ook nog af hoe je het ophalen van de email kunt regelen. Staan alle emailadressen op 1 mailserver (natuurlijk inclusief loadbalancing) of hebben jullie de emailadressen verspreid over meerdere servers.

Ook daar hebben we een apart cluster voor draaien. Ook daar is het zelfde verhaal, je plaatst extra machines er bij waar nodig. In een centrale database staan vervolgens al je mail adressen.[/QUOTE]

Graag wil ik het begin goed doen, zodat we later niet tegen problemen aan lopen waardoor we alles opnieuw moeten migreren. Ik weet nu al dat we tegen problemen aan gaan lopen, maar dat is vanzelf sprekend.

Snap ik, maar geloof me, je gaat echt nog tegen heel wat problemen aan lopen die je van te voren niet kan overzien.

We hebben niet een aantal websites per server, elke webserver in het cluster handelt aanvragen af voor alle websites op dat cluster.

Misschien dat ik het nu verkeerd zie, maar betekent dit dat elke webserver voor elke domeinnaam een vhosts heeft?

Ook daar hebben we een apart cluster voor draaien. Ook daar is het zelfde verhaal, je plaatst extra machines er bij waar nodig. In een centrale database staan vervolgens al je mail adressen.

Dit is helemaal duidelijk.

Wat voor soort database gebruik je voor de gebruikers, is dit een standaard MySQL database, of moet ik dan meer aan postgreSQL of LDAP denken?

Oorspronkelijk geplaatst door asusk7m550

Misschien dat ik het nu verkeerd zie, maar betekent dit dat elke webserver voor elke domeinnaam een vhosts heeft?

Correct, elke webserver heeft bij ons enkele duizenden (en soms tienduizenden) virtual hosts ingeladen.

Wat voor soort database gebruik je voor de gebruikers, is dit een standaard MySQL database, of moet ik dan meer aan postgreSQL of LDAP denken?

Wij gebruiken hiervoor een MySQL database.

Bedankt voor de informatie. Ik denk dat we er zo wel uit moeten kunnen komen voor nu.