Onderwerp: Qmail + Vpopmail cluster

Origineel geplaatst door Wido
Op dit moment werken ze met rblsmtp om sowieso te grootste rommel al te weren van de server.

spamassasin is leuk, maar vreet nogal veel resources.

rblsmtpd en spamassasin draaien bij ons op de SMTP servers. Bij binnenkomst wordt de rotzooi geweerd en/of getagd, hierna afgeleverd in het account (op de storage machine).

De webmail kan uiteraard op een andere server draaien.

Wij hebben voor alles andere machines: SMTP, POP3, webmail, IMAP en storage (doet tevens MySQL). Alles is eenvoudig te schalen (je "prikt" er gewoon een nieuwe server bij), behalve je storage. Wat voor apparaat je als storage neerzet, het zal altijd je bottleneck worden. Qua grootte is deze (een SAN, NAS, whatever) eenvoudig uit te breiden, maar je kan er niet zomaar even een "module" bij in stoppen om deze 2x zo snel te maken. En op den duur zit je aan een dusdanig hoeveelheid e-mail per seconden (+ POP3 access, +Webmail access, + IMAP access) dat de storage het niet meer verwerken kan.

Ik denk dat ik zo genoeg info heb.

Allemaal bedankt!

Als je een oplossing hebt voor een schaalbare storage, dan hoor ik het graag
Succes!

Origineel geplaatst door Digiover
Als je een oplossing hebt voor een schaalbare storage, dan hoor ik het graag
Succes!

Ok, dat doe ik.

Zoals het er nu uitziet wordt het als volgt:

Loadbalancer met LVS zodat het geheel op 1 IP blijft.

Daar achter een paar SMTP server met rblsmtpd, chkuser en spamassasin. Niet dat trage qmail-scanner gebruiken, maar een native c scanner.

Daarnaast nog 1 server die alle IMAP en POP3 kan afhandelen.

Daar achter 1 centrale Opteron die +/- 300GB aan opslag heeft. Deze zal ook tevens de MySQL doen.

Wordt de MySQL te zwaar belast, dan kunnen we aan de slag met replication/nbcluster.

We hebben nu "pas" 27GB aan mail staan, dat valt dus nog wel mee.

Hartelijk dank, maar:

Origineel geplaatst door Wido
...
Daar achter 1 centrale Opteron die +/- 300GB aan opslag heeft. Deze zal ook tevens de MySQL doen.

Wordt de MySQL te zwaar belast, dan kunnen we aan de slag met replication/nbcluster.

Dit is dus precies waar wij mee zitten: De storage is niet geschaald en is niet schaalbaar. De data staat op één enkele server. Al je (POP3, SMTP, IMAP) servers zullen NFS threads hebben naar je storage, de MySQL zal niet zo snel de bottleneck worden maar eerder de sch(r)ijfsnelheid van je storage machine (truste me, ik spreek uit ervaring :/).

Je kan de storage wel uitbreiden en /var/vpopmail/domains op een lelijke manier verspreiden over twee storage servers, maar zo creëer je juist 2 SPoF's (beide servers moeten online blijven).

Origineel geplaatst door Digiover
Hartelijk dank, maar:


Dit is dus precies waar wij mee zitten: De storage is niet geschaald en is niet schaalbaar. De data staat op één enkele server. Al je (POP3, SMTP, IMAP) servers zullen NFS threads hebben naar je storage, de MySQL zal niet zo snel de bottleneck worden maar eerder de sch(r)ijfsnelheid van je storage machine (truste me, ik spreek uit ervaring :/).

Je kan de storage wel uitbreiden en /var/vpopmail/domains op een lelijke manier verspreiden over twee storage servers, maar zo creëer je juist 2 SPoF's (beide servers moeten online blijven).

Inderdaad, schaalbare storage is lastig en anders wel duur.

We zullen het geheel uitrusten met een Areca RAID controller met daarin een paar raptor disks, denk 8 stuks in RAID-5.

Een NAS/SAN oplossing zou hier kunnen, maar dat is niet al te goedkoop.

Maar inderdaad, storage is een probleem.

Origineel geplaatst door Wido


Inderdaad, schaalbare storage is lastig en anders wel duur.

We zullen het geheel uitrusten met een Areca RAID controller met daarin een paar raptor disks, denk 8 stuks in RAID-5.

Een NAS/SAN oplossing zou hier kunnen, maar dat is niet al te goedkoop.

Maar inderdaad, storage is een probleem.

Met RAID-10 kom je vaak een stuk sneller dan RAID-5. Vooral met schrijfacties. Even een tip tussendoor...

Ben nog wat gaan testen en heb nu het volgende uitgedacht wat binnenkort operationeel gaat.

De primaire server, een Dual Opteron met 2GB DDR zal Qmail draaien met daarop:
- chkuser
- spf controle
- bouncemaxbytes (tnx Bert|Art )
- simscan
- clamav
- spamc
- mysqld
- rblsmtpd

De secundaire server zal alleen spamd draaien.

Door spamc met -H te starten gaan we loadbalancen over meerdere spamd servers.

Vooral de IMAP en Webmail vreten CPU kracht, ook daarvoor zetten we een losse server in, een P4, deze draait dan Apache met daarop Horde en Squirrelmail.

Courier-Imap zal dan nog op de primaire mailserver blijven draaien, maar we kijken of we dit via Courier-Authdaemon en wat exporeren via NFS niet extern kunnen opzetten (samen met de webmailserver dus).

Waarom courier-imap?

Je kan voor pop3(s) gebruik maken van de pop3 daemon die meekomt met qmail, deze start je met tcpserver (iets inetd achtig maar beter) en laat je paswoorden checken direkt met vchkpw van vpopmail.
Voor imap gebruik je op de zelfde manier bincimap.

Voordeel is dat je maar 1 daemon runnen hebt als het rustig is en alles onder de user vpopmail kan gebeuren.
Als je de vpopmail map shared via NFS kan je waarschijnlijk ook de services op aparte servers laten draaien.

Indien je wenst stuur ik je graag de runscripts voor deze opstelling.

Hej, dat klinkt fijn.

Als je mij die run scripts kan sturen

Kadootje voor heel WHT dan maar:

IMAP (staat op localhost, alleen webmail daarop):
#!/bin/sh
PATH="/var/qmail/bin:/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin:$PATH"
tcpserver -R -H -u 89 -g 89 127.0.0.1 143 \
/var/qmail/bincimap/bin/bincimap-up \
--conf=/var/qmail/bincimap/etc/bincimap.conf -- \
/home/vpopmail/bin/vchkpw \
/var/qmail/bincimap/bin/bincimapd 2>&1 | /var/qmail/bin/splogger qmail-imapd &

IMAPS (extern en secure):
#!/bin/sh
PATH="/var/qmail/bin:/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin:$PATH"
tcpserver -R -H -u 89 -g 89 -s `cat /var/qmail/service/ip` 993 \
/var/qmail/bincimap/bin/bincimap-up \
--conf=/var/qmail/bincimap/etc/bincimap.conf -- \
/home/vpopmail/bin/vchkpw \
/var/qmail/bincimap/bin/bincimapd 2>&1 | /var/qmail/bin/splogger qmail-imapsd &

POP3 (wederom intern):
#!/bin/sh
PATH="/var/qmail/bin:/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin:$PATH"
tcpserver -H -R -u `id -u vpopmail` -g `id -g vpopmail` 127.0.0.1 110 \
/var/qmail/bin/qmail-popup hostname.van.je.server \
/home/vpopmail/bin/vchkpw /var/qmail/bin/qmail-pop3d Maildir 2>&1 | /var/qmail/bin/splogger qmail-pop3d &

POP3S (extern):
#!/bin/sh
PATH="/var/qmail/bin:/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin:$PATH"
tcpserver -R -H -u `id -u vpopmail` -g `id -g vpopmail` -s `cat /var/qmail/service/ip` 995 \
/var/qmail/bin/qmail-popup hostname.van.je.server \
/home/vpopmail/bin/vchkpw /var/qmail/bin/qmail-pop3d Maildir 2>&1 | /var/qmail/bin/splogger qmail-pop3sd &

Je kan de smtp zijde van qmail dan ook nog aanpassen met tcpserver, op deze manier:
qmaild 15100 0.0 0.0 2800 824 ? S 01:30 0:00 /usr/bin/tcpserver -p -v -R -x /etc/tcprules.d/tcp.qmail-smtp.cdb -c 40 -u 201 -g 200 0.0.0.0 smtp /usr/bin/rblsmtpd -r bl.spamcop.net -r relays.ordb.org -r rbl-plus.mail-abuse.org -r list.dsbl.org -r sbl.spamhaus.org /var/qmail/bin/qmail-smtpd /var/vpopmail/bin/vchkpw /bin/true

Zit rblsmtpd in, paswoord protectie voor relay.

Wij plaatsen deze oplossingen op een gentoo server, alle dingen komen via svscan met de /service.
# ls /service/
qmail-imapd qmail-imapsd qmail-pop3d qmail-pop3sd qmail-send qmail-smtpd
#

Blijft een stuk handiger dan courier.

Als je toch courier verder wilt gebruiken moet je hem ff zonder authlib compilen en met vpopmail support. Dan kan je hem ook zoals bincmap runnen:

IMAPS voorbeeldje:
#!/bin/sh
PATH="/var/qmail/bin:/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin:$PATH"
tcpserver -R -H -u `id -u vpopmail` -g `id -g vpopmail` -s `cat /var/qmail/service/ip` 993 \
/var/qmail/courier-imap/sbin/imaplogin \
/var/qmail/courier-imap/libexec/authlib/authvchkpw \
/var/qmail/courier-imap/bin/imapd Maildir 2>&1 | /var/qmail/bin/splogger qmail-imapsd &

(tis allemaal ff samengeplakt, kunnen dus fouten instaan maar het toont mooi hoe het moet denkik).

Graag wil ik hier ook nog een steentje bijdragen:

Een aardig schaalbare optie die mij persoonlijk ook wel aanspreekt is het draaien van enkele dovecot-servers, zowel als loadbalancer als als daadwerkelijke IMAP- en POP3-handler.

Als auth-backend voor deze Dovecot gebruik je dan MySQL. Op de balancer check je de credentials m.b.v. de mysql-tables. De accounts kunnen dan over meerdere servers verdeeld zijn, waarbij je het IP uit de database vist, of je hebt meerdere identieke mailservers met een storage backend, waarbij je een random IP selecteert, eventueel op basis van load op de servers (die je elke X seconden update in mysql). Met een slimme query bouw je dat zo op.

Vervolgens werken de backend-servers ook met dezelfde MySQL als backend, maar serveren dan zelf de mail, door in de config met een andere SQL-query te werken.

Je zou zelfs round-robin DNS kunnen draaien en een mailserver op basis van de load (of de beschikbaarheid van de juiste mailspools) laten beslissen het verzoek uit te besteden danwel zelf af te handelen.

Al met al is zo elke combinatie te maken:
- Meerdere back-end servers op 1 filesystem
- Meerdere back-end servers op meerdere filesystems (ook 20 op 2)
- Een of meer front-end servers
- Een of meer MySQL-servers (die had je trouwens wellicht al)

Tenslotte kan je bijv. als SMTPD met een applicatie als Postfix ook weer de juiste mailspool en/of afleverserver bepalen die toegang heeft tot de juiste mailspool(s).

We hebben nu zelf een Dovecot draaien als mailserver die netjes proxied voor accounts die op een andere server staan. Als de accounts lokaal staan handelt deze het zelf af. De klant heeft dan het gemak van een enkele in te stellen mailserver.

Dat Dovecot performed trouwens verbazingwekkend goed qua IMAP, zeker in vergelijking met een Courier imap. Factortje 10 naar schatting.

Maargoed. Iedereen heeft zijn eigen voorkeur natuurlijk weer qua software.

Origineel geplaatst door luser
Kadootje voor heel WHT dan maar: - KNIP -

Tnx.

Ik heb alleen een probleem net BincIMAP dat deze Maildir++ wil draaien en ons hele systeem Maildir based is.

Zet ik dit in de config naar Maildir (depot = "Maildir") dan krijg ik een harde crash.

Authentication {
allow plain auth in non ssl = "yes", /* allow login or
authenticate
when not in
SSL/TLS mode */

auth penalty = 4, /* on auth failure,
* server sleeps so
* many seconds
* before allowing
* client to
* authenticate
* again.
*/
disable starttls = "no"
}

//----------------------------------------------------------------------------
Security {
jail path = "/",
jail user = "vpopmail",
jail group = "vpopmail"
}
//----------------------------------------------------------------------------
Log {
type = "multilog", /* supports
* multilog or
* syslog or
* stderr (for testing).
*/
environment ip variable = "TCPREMOTEIP"
}

//----------------------------------------------------------------------------
Mailbox {
depot = "Maildir++", /* Use Maildir++ style
* depot. */

type = "Maildir", /* only Maildir
* support */

path = ".maildir", /* default path */

auto create inbox = "yes", /* create INBOX in
* given format if
* it doesn't
* exist.
*/

auto subscribe mailboxes = "INBOX","Sent" /* list mailboxes
* in one string,
* seperated by
* commas
*/

umask = "077" /* use this umask
* when creating
* mailboxes, or
* when copying and
* appending
* messages.
*/
}

//----------------------------------------------------------------------------
Session {
idle timeout = 1860, /* idle timeout in
seconds */

auth timeout = 60, /* timeout before
auth in
seconds */

transfer timeout = 1200, /* timeout per
transferred com
unit (I/O) */

transfer buffer size = 1024 /* number of bytes
to buffer before
passing on to
client. */
}

//----------------------------------------------------------------------------

SSL {
pem file = "/var/qmail/cert.pem", /* private key and
certificate
chain PEM file
name */

ca file = "", /* file to use as
certificate
authority */
ca path = "", /* path to search
for more certificate
authorities */

cipher list = "!ADH:RC4+RSA:HIGH:MEDIUM:LOW:EXP:+SSLv2:+EXP" ,

verify peer = "no"
}

//----------------------------------------------------------------------------
/* $Id: bincimap.conf.in,v 1.2 2003/08/23 12:53:25 andreaha Exp $ */

EDIT: Wil hem je altijd mailen als je even je adres achter laat.

EDIT: 2, we hebben horde ook aangepast (kan in de registry file dachtik) dat ie "Sent" neemt ipv de normale sent-mail.

Als ik het zo bekijk gaat dit bij ons niet werken.

Courier heeft zo zijn eigen dirindeling en bincimap ook.

Om dat allemaal te converten lijkt me niet echt handig (+100GB aan mail)