Onderwerp: Qmail + Vpopmail cluster

Hallo,

Binnen aanzienbare tijd willen wij een nieuw cluster gaan opzetten voor onze mailservices.

Op dit moment draaien wij Qmail icm Vpopmail (MySQL backend) en dat willen we graag zo houden.

Om het voor de klant gemakkelijk te houden willen we 1 adres, mail.pcextreme.nl

Nu heb ik zelf zitten denk aan het volgende

Back-end:
- Single Opteron 142 (of Dual 242)
- 2GB DDR
- 4x WD Raptor 74GB in RAID-5

Back-end gaat doen:
- NFS
- MySQL

Daar voor zet je simpel weg in:

Front-end:
- Qmail
- Courier-IMAP

Nu zitten we met het volgende.

de vpopmail/domains dir zal via NFS worden gedeeld, evenals de qmail/control directory, om zo alle servers gelijk te houden. Via MySQL (InnoDB) kunnen alle servers de logingegevens uitlezen.

Als een domein wordt toegevoegt via vadddomain moeten alle Qmail servers een reload krijgen.

Op google vond ik http://www.shupp.org/maps/ispcluster.html dat is iets wat we eigenlijk zoek, alleen is de info wat beknopt daar.

Is er iemand met ervaring hierin? Heeft iemand misschien tips op dit vlak?

Het remote restarten van de qmail servers zou je kunnen oplossen door middel van een cronjob die bijvoorbeeld iedere 15 minuten qmail restart.
Het lijkt me niet optimaal voor je uptime om direct te restarten als er een e-mail box wordt aangemaakt.
Je kan door middel van een scriptje op je WSCP server aangeven of er noodzaak is voor een reload, indien dit het geval is herstart de qmail server. Indien dit niet het geval is draait hij vrolijk door tot de volgende check.

Verder kan je op alle losse webservers in je cluster een NFS link leggen voor de dir /var/qmail/bin/ zodat alle uitgaande mail ook via je mailcluster gaat. Zo hoef je je klanten ook niet te verplichten om bijvoorbeeld phpmailer.sourceforge.net te gebruiken voor SMTP mail. Een andere optie is de SMTP optie van je PHP.ini (ik weet niet hoeverre dit werkt in Linux omdat er For windows only staat in de PHP.ini).

Just my 2 cents

Waarom wil je een nieuwe mailcluster opzetten? Is dat om performance redenen? Of wil je meer redundantie?
Er zijn verschillende architecturen denkbaar.

Origineel geplaatst door Unexplained
Waarom wil je een nieuwe mailcluster opzetten? Is dat om performance redenen? Of wil je meer redundantie?
Er zijn verschillende architecturen denkbaar.

Voor performance en om het centraal te houden.

Ik vertel mijn klanten mail.pcextreme.nl is je adres voor IMAP/POP3.

Het mailen staat los van de webservers, de webservers draaien postfix als MTA en maken zelf direct connectie met de buitenwereld. De klanten hebben niets te maken met postfix en/of de webservers voor hun mailverkeer.

Origineel geplaatst door Wido
Als een domein wordt toegevoegt via vadddomain moeten alle Qmail servers een reload krijgen.

Hier maak je, bijna, een fatale fout. Alleen qmail-send dient herstart te worden, kill -HUP is voldoende.
Omdat qmail-send bij meerdere acties herstart moet worden is het relatief veilig hier een cronjob voor op te nemen (say iedere 15 minuten). Ik kan niet te veel in detail treden over ons qmail/vpopmail cluster, maar houd je ogen open voor andere opties. En, wat voor cluster je ook maakt, je storage blijft je SPoF (iemand tips hierover?? Een fatsoenlijk geschaalde storage nog niet ben tegengekomen).
Een andere oplossing dan het NFS linken van je /var/qmail/control en je /var/vpopmail/domains is er (afaik) niet. Beiden kunnen op de main-storage komen.

Zomaar wat linkjes:
http://www.nwdb.co.uk/email/qmh.html
http://www.inter7.com/?page=vqalive
http://www.nrg4u.com/ (http://www.nrg4u.com/qmail/the-big-q...e-20031112.pdf)

NFS
* All NFS machines should probably not run linux, but something with better NFS performance like FreeBSD.

Origineel geplaatst door Digiover


Hier maak je, bijna, een fatale fout. Alleen qmail-send dient herstart te worden, kill -HUP is voldoende.
Omdat qmail-send bij meerdere acties herstart moet worden is het relatief veilig hier een cronjob voor op te nemen (say iedere 15 minuten). Ik kan niet te veel in detail treden over ons qmail/vpopmail cluster, maar houd je ogen open voor andere opties. En, wat voor cluster je ook maakt, je storage blijft je SPoF (iemand tips hierover?? Een fatsoenlijk geschaalde storage nog niet ben tegengekomen).
Een andere oplossing dan het NFS linken van je /var/qmail/control en je /var/vpopmail/domains is er (afaik) niet. Beiden kunnen op de main-storage komen.

Zomaar wat linkjes:
http://www.nwdb.co.uk/email/qmh.html
http://www.inter7.com/?page=vqalive
http://www.nrg4u.com/ (http://www.nrg4u.com/qmail/the-big-q...e-20031112.pdf)

Als je tips hebt hoor ik het graag.

De backend mag volledig veranderen, zolang de logingegevens maar gelijk blijven.

Maybe postfix met vpopmail?

Iedereen logt nu in met gebruiker@domein.tld en dat wil ik wel zo houden.

Ik kan dus afaik heel /var/qmail en /home/vpopmail exporteren via NFS en alleen /var/qmail/queue op de lokale disk van de betreffende server houden. Zo gaan niet twee servers de zelfde queue behandelen.

SPoF doet er niet toe op dit moment, ik wil eerst de mogelijkheden bekijken, hoe schaalbaar Qmail hierin is.

Voor de rest sta ik helemaal open voor opties.

Euhm, moet je qmail-send wel herstarten? Ik denk dat /var/qmail/bin/qmail-newmrh uitvoeren voldoende is.

Gaat er ook antivirus scanning en spamassassin gedraait worden? Misschien is het interessanter om verschillende mailservers op te zetten die alle mails al opvangen en alles doorgeven aan een volgende mailserver die de mails dan in de juiste mailbox stored.

Origineel geplaatst door wv-
Euhm, moet je qmail-send wel herstarten? Ik denk dat /var/qmail/bin/qmail-newmrh uitvoeren voldoende is.

Ja sorry, heb je gelijk in. Ik was ff in de war met andere (eventueel handmatige) wijzigingen in /var/qmail/control/virtualhosts , rcpthosts enz.
Een kill -1 qmail-send (SIGHUP) wordt door vpopmail zelf al gedaan (zie source vpopmail.c) bij wijzigingen. Evenals qmail-newmrh. Alleen bij handmatige wijzigingen moet je dit zelf doen.

Kijk dan ook eens naar de proxy functie in Courier-Imap. Is vanaf versie 4.0 aanwezig en maakt hele leuke oplossingen met pools van pop/imap servers.

Klein stukje uit de doc:

Courier's IMAP and POP3 servers now include a built-in proxy aggregator.
With a proxy aggregator, the mail accounts are split between multiple,
independent servers, with an IMAP/POP3 server running on each individual
server. A separate, proxy server sits in front and accepts ordinary IMAP
and POP3 connections. It reads the login ID, determines which server the
account is located on, connects to the server, and logs in. Then, for the
lifetime on the login session the front-end server takes itself out of the
loop, and forwards all session traffic between the IMAP/POP3 client, and
the back-end server.

Is super eenvoudig op te zetten en werkt tot nu to perfect op mijn systeem.

Zo'n topic brengt je wel op leuke ideeën..

Origineel geplaatst door Wido
Voor performance en om het centraal te houden.

Ik vertel mijn klanten mail.pcextreme.nl is je adres voor IMAP/POP3.

MySQL kun je beter niet alleen centraal draaien. Op het moment dat op zo'n moment de MySQL centraal onderuit gaat, wordt alle mail gebounced. Je kunt beter MySQL replicatie opzetten naar de 'nodes', waardoor zij in feite over een realtime kopie van de database beschikken. Mocht op zo'n moment de centrale server onderuit gaan, worden de berichten wel geaccepteerd en in de queue gezet totdat het weggeschreven kan worden in de Maildir.
Verder begrijp ik niet zo goed waarom je tegen performance beperkingen aanloopt. Op een beetje dual xeon met qmail kun je miljoenen berichten per dag verwerken. Het zijn juist andere applicaties die voor beperkingen zorgen (zoals Spamassassin). Je zou kunnen overwegen om alle mail binnen te laten komen op een machine waarop alleen spamassassin draait, die het weer forward met een smarthost richting je POP3/IMAP server. Dan hoef je niet te klooien met NFS, SQL replicatie, et cetera.

Probleem is vooral de IMAP die veel CPU vreet icm httpd (de webmail).

Wij zijn Opteron fan, dus je zegt dat Dual Opteron met zeg 4GB ram wel flink wat mail alleen kan afhandelen?

Origineel geplaatst door Wido
Probleem is vooral de IMAP die veel CPU vreet icm httpd (de webmail).

Wij zijn Opteron fan, dus je zegt dat Dual Opteron met zeg 4GB ram wel flink wat mail alleen kan afhandelen?

Dat hangt er dus vanaf wat je ermee gaat doen. Als je spamassassin en dat soort applicaties gaat draaien kom je in de problemen, maar gaat het puur om smtp en pop3 dan red je het makkelijk.
Zou de webmail wel splitsen als dat mogelijk is.

Op dit moment werken ze met rblsmtp om sowieso te grootste rommel al te weren van de server.

spamassasin is leuk, maar vreet nogal veel resources.

De webmail kan uiteraard op een andere server draaien.

Voor onze POP3/IMAP mailboxen gebruiken we Postfix+Courier en MySQL en NFS backend export.

Alle postfix gegevens staan in MySQL, bij het toevoegen van een account en/of domein hoeven de postfix daemons op de frontends niet te worden gereload.

Alle email wordt maildir afgeleverd op een vmail home dir wat geexport is via NFS naar alle frontends. Werkt tot nu toe perfect.