server indeling voor starters

[nzyme]

wat ik me afvraag, is dit een goede oplossing voor een beginnende webhoster ? (met het oog op de toekomst waarin je natuurlijk hoopt te groeien)

(met loadbalancer doel ik op http://www.linux-vs.org)

==fysiek systeem 1 - linux icm xen
=virtueel systeem 1
...loadbalancer+failover voor apache/nfs/mysql
...failover voor mail/proftpd
...bind nameserver (ns1)
=virtueel systeem 2
...apache webserver (www1)
...proftpd ftpserver (ftp1)
=virtueel systeem 3
...mysql master (mysql_m)
=virtueel systeem 4
...postfix/courier mailserver (mail1)
=virtueel systeem 5
...nfs server (nfs1)

==fysiek systeem 2 - linux icm xen
=virtueel systeem 1
...loadbalancer+failover voor apache/nfs/mysql
...failover voor mail/proftpd
...bind nameserver (ns2)
=virtueel systeem 2
...apache webserver (www2)
...proftpd ftpserver (ftp2)
=virtueel systeem 3
...mysql slave (mysql_s)
=virtueel systeem 4
...postfix/courier mailserver (mail2)
=virtueel systeem 5
...nfs server (nfs2)

deze namen zijn voor intern gebruik, de internet namen zijn:
ns1, ns2, www, ftp, mail


Uitleg:
Men maakt verbinding met www/ftp/mail.<mydomain>.nl en de eerste loadbalancer zal meteen de request afhandelen en je doorsturen naar bijv. www1. Mocht het druk worden zal hij je vanzelf doorsturen naar www2. Mocht de loadbalancer dood gaan zal de andere loadbalancer zijn taken zonder downtime overnemen (ze polsen elkaar dmv hearbeats). Mocht een webserver down gaan is er altijd nog de tweede webserver dus ook dat probleem is gecovered. Mocht het fysieke systeem het niet langer aankunnen kan de webserver image in no-time overgezet worden naar een nieuwe fysieke host en wederom zonder downtime... www2 zal het alleen even _erg_ druk krijgen tot de nieuwe server in de lucht is.

Mysql kan zichzelf repliceren dmv een aangepaste configuratie en op die manier een backup full featured database bijhouden/leveren. Het is dacht ik ook gebalanced...

Email wordt niet gebalanced maar zal slechts backup zijn, full featured zonder downtime enzo.

Ftp is ook backup.

Tenslotte:
Om voor iedere dienst dezelfde gegevens beschikbaar te hebben moet er intern een nfs server draaien met alle webmappen en mailboxen. Ook configuratie bestanden kunnen op die manier geshared worden tussen de verschillende hosts.


Doordat alle diensten in een eigen VM zitten gedragen ze zich als een normale host, precies als iedere andere server. Het voordeel is echter dat waneer er een zwaardere configuratie nodig is er een nieuwe fysieke server geplaatst kan worden met daarop bijv. www3. Door het aanpassen van de configuratie van de loadbalancers kan deze www3 zonder enkele problemen toegevoegd worden en kan de oude www2 bijv. uitgezet worden.
Mocht de database server toezijn aan een dedicated systeem kan dat zonder downtime gedaan worden, het nieuwe systeem kan als slave worden bijgezet en in de config van de loadbalancer bijgezet worden.

Is het een goed id om zo te beginnen ?

[CharlieRoot]

het oogt mij nogal omslachtig maar dat kan aan mij liggen. Voor een beginnende hoster is dit zowiezo geen optie lijkt mij..

[Sander-]

Mwah het idee lijkt me veelbelovend, het enige wat ik je zou aanraden is: Kijk of je deze setup kunt nabouwen in een VMWare omgeving of met 2 machines en ga eens testen want ik ben bang dat je nog wel wat haken en ogen gaat tegenkomen, vooral op het gebied van services die met elkaar moeten praten.

En hoe wil je richting je klanten gaan werken? Welk controlepaneel wil je gaan gebruiken?

[luser]

het oogt mij nogal omslachtig maar dat kan aan mij liggen. Voor een beginnende hoster is dit zowiezo geen optie lijkt mij..

Valt te bezien, het is al heel goed dat de TS naar zulke oplossingen kijkt ipv gewoon een doos met directadmin te nemen. Als de technische kennis aanwezig is, waarom niet?

[nzyme]

Valt te bezien, het is al heel goed dat de TS naar zulke oplossingen kijkt ipv gewoon een doos met directadmin te nemen. Als de technische kennis aanwezig is, waarom niet?

toegegeven het is mss niet voor _iedere_ beginner te doen

kennis is behoorlijk aanwezig (zonder arrogant over te komen) en uiteraard MOET iets dergelijks eerst getest worden. VHCS wil ik gebruiken als CP. Opensource pakket.

alle services praten metelkaar over (in dit geval nog) 1 ip, namelijk een virtueel IP die de loadbalancers delen. Maar idd, als er dan nieuwe hosts bij komen kom je wel (tijdelijk) in een configuratie hel met nieuwe ip's

eerst maar eens goed testen dus

[kwakkwak]

hmm, ga ik ook eens testen. Is een leuke test weeral

[alexbik]

Je hebt het over een NFS server, maar hoe ga je dat oplossen? Of doe je alles dubbel behalve je storage? Misschien kun je toch beter de storage lokaal houden en web- en config-data dmv rsync synchroon houden. Da's niet ideaal, maar als je NFS server onderuit gaat ook niet. Als je loadbalancing op de servers zelf doet ipv met hardware loadbalancers, neem ik tenminste niet aan dat je van plan was om een NetApp te kopen als NFS server

[nzyme]

Je hebt het over een NFS server, maar hoe ga je dat oplossen? Of doe je alles dubbel behalve je storage? Misschien kun je toch beter de storage lokaal houden en web- en config-data dmv rsync synchroon houden. Da's niet ideaal, maar als je NFS server onderuit gaat ook niet. Als je loadbalancing op de servers zelf doet ipv met hardware loadbalancers, neem ik tenminste niet aan dat je van plan was om een NetApp te kopen als NFS server

uhm, de loadbalancers zijn gewoon normale linux bakken met wat kernel patches (zie linkje) en als je beter leest zie je dat de nfs server dus OOK dubbel is Juist om te voorkomen dat je daarvan afhankelijk bent zoals jij dus opmerkt

[alexbik]

Ohja, met een paar kernel patches zijn al je problemen als sneeuw voor de zon verdwenen natuurlijk. Was ik even vergeten

Nu weer even serieus: Ik denk dat je een beetje onderschat wat er komt kijken bij het redundant uitvoeren van storage. Vooral als er niet alleen gelezen maar ook geschreven wordt.

[nzyme]

Ohja, met een paar kernel patches zijn al je problemen als sneeuw voor de zon verdwenen natuurlijk. Was ik even vergeten

uhm... wil jij zeggen dat het niet zo is een paar modules laden, wat dingen op 1 zetten in /proc/dinges, iptables aanpassen, heartbeat configgen, ldirectord configgen en dan is het ongeveer klaar

Nu weer even serieus:

lijkt er wel op

Ik denk dat je een beetje onderschat wat er komt kijken bij het redundant uitvoeren van storage. Vooral als er niet alleen gelezen maar ook geschreven wordt.

ok, ik zal het nog eens proberen uit te leggen

2 nfs servers die DEZELFDE data houden, ze syncen via DRBD (raid over ip als ik me niet vergis). 1 van de twee servers zal steeds aangesproken worden en in gebruik zijn om all diensten van diskspace te voorzien. De andere komt pas "in actie" als de eerste offline gaat. De loadbalancers zullen dit vernemen en zo de connecties naar de goede online host doorsturen.

[small]maar even iets anders, allemaal leuk en aardig om een fileserver redundant te maken maar in hoeverre is dat nou eigelijk nodig je gaat toch al voor RAID5+hotspare dus dan heb je al 2 disks die kapot mogen gaan voordat je in de problemen komt.....[/small]

[alexbik]

Kijk, daar zeg je iets zinnigs. Als je gewoon 1 goede fileserver bouwt, met fatsoenlijke hardware en je draait er niets op behalve NFS, weet ik zeker dat dat betrouwbaarder gaat zijn dan geknutsel (een ander woord heb ik er niet voor) met RAID over IP en andere spannende dingen. Ik zeg: KISS.

Je moet alleen nog wel wat dingetjes fixen voor je logfiles, want loggen over NFS wil je echt niet. Sowieso gaat het mis als je meerdere apaches via NFS naar dezelfde file laat loggen (ook al worden de apaches niet tegelijk aangesproken), maar loggen over NFS is sowieso al niet wat je wilt, vanwege performance. Ik zou lokaal loggen en periodiek de boel naar de fileserver kopieeren (vanuit een cronnetje). Allemaal niet zo ingewikkeld dus, maar wel ff goed over nadenken.

[nzyme]

Kijk, daar zeg je iets zinnigs. Als je gewoon 1 goede fileserver bouwt, met fatsoenlijke hardware en je draait er niets op behalve NFS, weet ik zeker dat dat betrouwbaarder gaat zijn dan geknutsel (een ander woord heb ik er niet voor) met RAID over IP en andere spannende dingen. Ik zeg: KISS.

Je moet alleen nog wel wat dingetjes fixen voor je logfiles, want loggen over NFS wil je echt niet. Sowieso gaat het mis als je meerdere apaches via NFS naar dezelfde file laat loggen (ook al worden de apaches niet tegelijk aangesproken), maar loggen over NFS is sowieso al niet wat je wilt, vanwege performance. Ik zou lokaal loggen en periodiek de boel naar de fileserver kopieeren (vanuit een cronnetje). Allemaal niet zo ingewikkeld dus, maar wel ff goed over nadenken.

kijk, ik zet voor en jij kopt in een failover fileserver is idd eigelijk ook niet nodig

loggen over nfs is idd niet fijn nee, ik wil het ook puur gebruiken voor de userdirs ofwel de html/php/plaatjes enzo. Logs via cron overgooien en de nfs server dan als backup server laten fungeren voor die logs lijkt me een interessante oplossing.
En mss laat ik de ftpd ook wel via een nfsmount zn bestanden benaderen (iso's en tar.gz zooi). Want omnou de nfs server ook ftpd te laten doen... hmz... Even overdenken

[Netbyte]

Zeer interresant, had zelf ook wel zoiets bedacht, alleen nog nooit getest. Wat zeker een tip is, documenteren als het draaid! hier heb je later heel veel aan.

[nzyme]

Zeer interresant, had zelf ook wel zoiets bedacht, alleen nog nooit getest. Wat zeker een tip is, documenteren als het draaid! hier heb je later heel veel aan.

klopt, ik doe ook al niet anders... en als ik _alles_ klaar heb komt het ook cker op howtoforge

[V v Zuydewijn]

Voor een beginner ziet het er goed uit. Liever zo iemand die begint dan iemand een reseller pakketje ergens neemt maar er eigenlijk niets van begrijpt.

Victor