Technische vraag: Webmail cluster

[Beyonder]

Ik heb een klant die een schaalbare oplossing wil voor webmail accounts. Hij wil starten met 20000 webmail accounts en schaalbaarheid tot 100000 accounts.

Ik dacht zelf eraan om hardware te gebruiken die wij nog "over" hebben.

Verder ben ik benieuwd of er hosters zijn die dergelijke volume webmail hebben draaien en op welk soort machines/ram/schijven!

Ook gebruikte software is belangrijk, is Powermail een goede oplossing of kunnen we beter zelf iets coderen? eventueel andere oplossing?

Hardware dat ik graag zou willen gebruiken hiervoor:

Load balancer

Drie servers met deze specs:

Quad Intel PIII - 700 1 mb cache
2GB ram
RAID 5 - 7 x 36 GB U2W 10000RPm schijven

Ik maar me vooral een beetje zorgen over het CPU gebruik, kunnen deze (oudere) CPU's dergelijke hoeveelheden webmail gebruikers verwerken?

EDIT: vond beter beschikbare hardware dan eerder gepost.

[animana]

Aantal accounts op zich zegt weinig. Het gaat erom hoe vaak een account inlogt en hoe lang deze bezig is. Hebben ze al enige statistieken?

Hoeveel een server aan kan is een kwestie van uitrekenen en testen. Dit hangt te veel van de gekozen webmailversie af om daar in het algemeen wat over te zeggen.

Hangt ook af van welke plugins / modules er eventueel geactiveerd worden.
Sommige webmails hebben ook extra database(s) nodig dus dan zit je weer met replicatie ed.

Ik denk dat eerder de IMAP server een probleem vormt dan de servers waar webmail op draait.

EDIT: aanvulling imap

[Koster]

Origineel geplaatst door Beyonder
Ik maar me vooral een beetje zorgen over het CPU gebruik, kunnen deze (oudere) CPU's dergelijke hoeveelheden webmail gebruikers verwerken?

EDIT: vond beter beschikbare hardware dan eerder gepost.

Kan je toch upgraden naar 1,4 Ghz P3's?

[Beyonder]

IMAP zal inderdaad een hevige load gaan vormen, we willen ook spamfiltering gaan toepassen maar dit willen we op een aparte server plaatsen.

De daadwerkelijk spam en virus filtering zal dus niet plaatsvinden op dit cluster. Dit lijkt me verstandig, gezien ik zo nog mijn twijfels heb over de te gebruiken hardware.

Trial en error wil ik liever voorkomen eigenlijk.

Nog wat load ervaringen met diverse webmail programma's ?

Helaas gaat het over een op te starten platform dus zijn er geen cijfers bekend.

Zijn de 1.4 Ghz cpu's ook verkrijgbaar in Xeon versies? gezien ik deze nog niet ben tegengekomen! wel de 900 mhz versie.

Het zijn overigens HP netservers.

[Mikey]

clamav wil bij drukte ook wel voor wat load zorgen, dus dat op een andere losse server zetten zou geen luxe zijn als er veel mail langs komt.

[YSAE]

Misschien kun je gebruik maken van Atmail? Koppeling met een Oracle of SQL server.

www.atmail.com

[Koster]

Origineel geplaatst door Beyonder

Zijn de 1.4 Ghz cpu's ook verkrijgbaar in Xeon versies? gezien ik deze nog niet ben tegengekomen! wel de 900 mhz versie.

Nee klopt, mijn fout

[Triloxigen]

Ligt grotendeels aan je mailserver..
Als je een mailserver gebruikt die gebruik maakt van een database, zorg dan dat hij niet aan tableloocking doet, maar aan row locking..

[EgoH]

Een mail server die gebruikt maakt van een database is hier wel nodig
Vooral omdat je meerdere servers de imap afhandeling wil laten doen (daar zit hem vooral de load).
De hoofddatabase kan je dan ook laten updaten door je normale mx en je fallback mx.
Met behulp van replication kan je dan zoveel imap servers opzetten als nodig is.
De webmail client laat je een random database server kiezen (of je maakt zelfs een module die de server uitkiest met de minste load).

Ik denk niet dat de server met de webmail software zelf veel resources zal gebruiken, die hoeft eigenlijk alleen maar wat info door te sturen.

Natuurlijk maakt het voor de imap resources een hoop uit wat voor gebruikers je hebt. Moeten berichten lang bewaard worden? Hoe groot is de gemiddelde mailbox.

Tegenwoordig is het inderdaad ook slim of de virus/spam scan door een aparte server te laten doen.

Origineel geplaatst door Triloxigen
Ligt grotendeels aan je mailserver..
Als je een mailserver gebruikt die gebruik maakt van een database, zorg dan dat hij niet aan tableloocking doet, maar aan row locking..

Komt voor mysql neer op geen myisam maar innodb.

[Beyonder]

Goede adviezen. Is powermail aan te raden als front end?

[EgoH]

De front-end kan dat elke webbased mail zijn, bijna alle webbased email software gebruikt namelijk een imap server.

Gewoon een aantal frontends proberen, merk je meestal zo welke het fijnste werkt

[edit] wat is de website van de powermail die je bedoeld? [/edit]

[wdv]

Beyonder, PowerMail is een product waar niet meer aan gewerkt wordt voor zover ik weet.

Ik weet niet of dat een probleem is, maar het is in ieder geval wel fijn om te weten.

[Mikey]

Moet dit trouwens een linux besturings systeem worden, novell en groupwise kunnen ook een hoop doen.

[Beyonder]

Er is veel kennis van Linux en BSD in huis, dus we prefereren een van deze operating systemen te gebruiken.

Indien Powermail niet meer wordt doorontwikkelt is het idd verstandig om voor een andere oplossing te kiezen, bedankt

[EgoH]

Wat me nu opvalt is dat er niet veel software is die de email in een db opslaat.
Wat natuurlijk ook mogelijk is is het bekende Maildir formaat gebruiken.
Dit is vrij makkelijk te synchen met rsync of andere software.

Toch nog programma gevonden:
DBmail icm postfix

http://images.freshmeat.net/screenshots/1753.png


Wat me daarbij ook nog opviel:
http://sourceforge.net/projects/dbmail-webmail/

Dan kan je de hele imap ertussenuit schoppen, de webmail communiceerd dan direct met de database. Als de gebruikers alleen webmail gebruiken schilt dit aanzienlijk in resources.