Onderwerp: 1M+ websites op DirectAdmin?

Niemand zegt dat je webserver alle vhost configs moet inladen. Je kan bijvoorbeeld per website maximaal 3 webinstances/servers toewijzen en wanneer je dan spreekt over in totaal bijvoorbeeld 12 webserver instances, dan hoef je maar 1/4 van alle configs in te laden. Dit kan je natuurlijk verder schalen zoveel je wil. Indien nodig kan je zelfs de vhost configs laten cachen in memory.
Weet niet in hoeverre die tally schaalbaar is want heb nog niet gekeken naar dat component maar is wel mogelijk om tally te draaien voor een lijst van gebruikers of gebruikers van een bepaalde reseller. Dus misschien is dat ook gewoon op een manier schaalbaar te krijgen. Op zich mag de DA server grotendeels van de dag bezig zijn met de tally. Het principe is dat alle andere taken (DNS, web, mail, FTP enz) op een andere plaats draait.

Onderscheid maken tussen verschillende klanten kan nog steeds door deze meer resources/instances toe te wijzen ten opzichte van de andere. Ik heb gezien dat het ook mogelijk is om meerdere home folders te gebruiken. Dit lost ook weer een eventueel probleem met schaalbaarheid op van de storage.

Het is voornamelijk een denk oefening. Wil niet zeggen dat het heel verstandig is om blindelings voor zo een opstelling te kiezen. Maar zo een opstelling kan weldegelijk zijn voordelen hebben. Al is het maar om niet een hoop afzonderlijke servers te hebben waarbij de helft idle draait en de andere helft heel de tijd last heeft van te hoge loads en downtimes te verlagen tot het minimum.

Ja, ik snap wel wat je wilt. Ik denk dat iedereen dat wel wilt, maar in de praktijk wil je dat echt niet

Ik wil je die vhost in memory wel eens zien cachen in ram. Apache doet dat sowieso al, dus extra lijkt me gewoon een verspilling van resources.

Wat je wilt is als eerste een clustered filesystem en daar boven x websites met een hiërarchie van loadbalancers.
Dat is primair voldoende om zoveel websites als je wilt te schalen.

Indien je databases wilt kunnen schalen komt er iets meer bij kijken, maar ook dat is relatief eenvoudig op te lossen.

Een hiërarchie van loadbalancers geeft je de mogelijkheid om eventueel automatisch websites rond te moven over je pools van webservers om zodoende de load onder controle te houden. Door je webservers virtueel te houden kun je bij wijze van spreken 10 web-vpssen per server kwijt en zodra iets uit zijn resources loopt kun je als eerste stap die vpssen naar extra hardware moven. Zodra een website meerdere webservers vereist hoef je maar bij 1 loadbalancer een config aan te passen en te reloaden en je bent klaar.

Dingen zoals mail, ftp etc is dan het minste van je problemen. Dat kun je via zoveel servers regelen als je nodig hebt.

Maar ik blijf mijn twijfels hebben over 1M+ sites in directadmin. Ik ben wel nieuwsgierig hoe da om gaat met 25000 pagina's met users/domeinen dus zodra je dat voor elkaar hebt, ben ik de eerste die je een krat bier stuurt
Och wat... zodra ik een miljoen websites heb draaien geef ik iedereen op dit forum een krat bier

Apache doet de caching naar memory bij de reload zelf, niet ervoor. Vandaar dat de reload wat tijd kan kosten omdat dit vanop de hardeschijf moet komen. Verder hoeft dit enkel read caching te zijn om zeker te zijn dat je de wijzigingen naar de files niet verliest. Snelheid van het reloaden zal dan een factor 10 sneller zijn.

Heb wat liggen spelen met DNS en de webinstances vandaag. DNS updates verpreiden doet hij nu via een RabbitMQ server op de DirectAdmin node. Elke DNS server heeft zo zijn queue, daardoor is het ook makkelijk te volgen welke DNS servers de updates aanvaarden en welke niet. Dit gaat stukken sneller dan via files en is lekker eenvoudig. De webinstances zijn iets moeilijker omdat het post script voor httpd rewrites ook ineens een herstart en dit had leuker geweest na het uitvoeren van het post script. Nu is dit enkel een probleem als de Directadmin node ook als webinstances zijn werk doet dus laat ik dit nog even links liggen. Vhost config files lopen nu via een rsync maar de kans is groot dat ik dit ook vervang door een RabbitMQ connectie.

Nu vroeg ik mij af of er interesse was bij jullie om deze proefopstelling eens grondig te testen wanneer hij klaar is? Ik wil gerust proberen om er 1M accounts in te steken om te zien wat dat geeft :-)

De DNS los trekken van DA kan met powerdns vrij eenvoudig. Je hebt dan 1 DNS cluster waar al je DA servers (in jouw geval 1?) naar toe syncen.

Inderdaad, echter ben ik nooit fan geweest van de standaard replicatie. Zo waren er cleanup scripts nodig voor het verwijderen van domeinen en zo zijn er nog een aantal beperkingen. Op deze manier is het makkelijker op te volgen en te onderhouden. In het kader van "Keep it simple "