Onderwerp: Grote hoeveelheden mail spreiden

Beste webhostingtalk-leden,

Vorig jaar heb ik de beslissing gemaakt om mijn eigen hostingbedrijf te beginnen. Dit begint ondertussen aardig te lopen, en gaat eigenlijk heel prima. Ik liep laatst alleen tegen de volgende vraag aan: Stel, dat een klant van mij een nieuwsbrief wil sturen naar hun hele klantbestand (voor dit voorbeeld nemen we een mailing-lijst van 2000 mail-adressen). In dit geval is het niet gewenst dat er limieten zitten op het aantal mailtjes dat per dag mag worden verstuurd per gebruiker (standaard staat dit op 500 geloof ik). Stel, ik haal dit limiet eraf en de klant stuurt de mail naar 2000 mail-adressen, gaat dit dan niet gruwelijk mis?

Zo ver ik weet, komen alle 2000 mailtjes die klant X verstuurd, dan in een que te staan. Stel klant Y wil vervolgens een mailtje sturen, komt deze achteraan in de que. Dit betekent, dat klant Y zal moeten wachten totdat alle andere 2000 mailtjes verstuurd zijn, voordat zijn mail wordt verstuurd, wat uiteraard óók niet gewenst is. Bovendien kan ik me voorstellen dat bijvoorbeeld Gmail het IP-adres van de server blacklist, omdat er in één klap een enorme hoeveelheid mailtjes word verstuurd (tussen de 2000 email-adressen, zitten vast ook veel gmail gebruikers). Ook dit is niet gewenst, omdat dan vervolgens alle gebruikers op de server geen mailtjes meer kunnen zenden naar @gmail.com adressen. Mijn eerste vraag is of het klopt wat ik hier zeg.

Mijn tweede vraag, is dan uiteraard wat de oplossing voor dit probleem is. Hoe kan ik de mail spreiden, en bijvoorbeeld langzamer laten verzenden? Load-balancing via DNS gaat (neem ik aan) niet werken, aangezien hij dan gewoon een van de twee helemaal volstouwt, en het niet netjes verdeeld. Wat is een mooie manier om dit op te lossen?

Alvast bedankt,
Marijn

Ik neem aan dat je het verzenden van een grote hoeveelheid e-mails door een gebruiker in je AV hebt afgedekt, maar dat terzijde.

In cPanel kun je per gebruiker instellen hoeveel e-mails er per uur mogen worden verzonden. Ik weet niet of dit per gebruiker ook in DA te regelen is of alleen globaal. Wordt er over de ingestelde limiet heen gegaan dan wordt iedere e-mail erna gebounced en krijgt de gebruiker de e-mail retour als onbestelbaar i.v.m. de ingestelde limiet. E-mails komen dan dus niet in een queue terecht. Wil een gebruiker dus meer dan de ingestelde limiet verzenden zal hij zelf de e-mail dienen te spreiden door zijn mailing in stukken te verzenden of met een pauze per e-mail. Je hebt dan ook geen load balancing nodig e.d.

@dreamhost_nl, dank je wel voor je reactie! Bij DirectAdmin is dit alleen globaal in te stellen, per dag. De manier die je nu beschrijft, is ook exact zoals ik het nu doe. Mijn vraag is dus of er niet een andere mogelijkheid bestaat. Bijvoorbeeld (ik noem maar wat), bij grote hoeveelheden mail spreiden over verschillende server's, en vervolgens met enige vertraging laten versturen. Als dit niet bestaat; hoor ik dat ook graag.

Kun je in plaats van een limiet per dag niet een limiet per uur instellen (nog beter, ook per gebruiker)?
Of misschien kun je de mailqueue aanpassen dat die niet meer dan 50 berichten per minuut verstuurt?

Daarom bestaat er software om mailings vanuit te doen, die regelt dat allemaal voor je. Mailings versturen vanuit een mail programma zonder enige aanpasing is gewoon vragen om problemen (grote queue, blacklist, etc).

Als een klant hierover klaagt, verwijzen naar de AV en ze een degelijk pakket laten aanschaffen (of zelf een dergelijke dienst aanbieden/inkopen).

Eens met @gjtje, vaak bieden dat soort tools (e-mail marketing systemen) ook veel meer functionaliteit (inschrijven, uitschrijven, bounces, statistieken) en is het dus het geld wel waard.

Klopt, daar zijn genoeg programma's voor. En dan zou TS er een aparte mailserver voor kunnen opzetten.
Maar niet iedere klant gebruikt die software. Je zult ook rekening moeten houden met de mensen die mail() in Php gebruiken voor het sturen van nieuwsbrieven in plaats van iets als SwiftMailer.
Of een klant die z'n webmail gebruikt voor nieuwsbrieven.
Theoretische situaties misschien, maar je kunt het beter voorkomen dan dat je met een server zit die op een blacklist komt.

Als je via 1 SMTP connectie meerdere mails verstuurt zullen de eerste 10 normaal verstuurd worden, de mails erna komen in de mail queue met lagere prioriteit.

no immediate delivery: more than 10 messages received in one connection

Maar veel simpele php systemen zullen mail() gebruiken of per e-mail een nieuwe connectie, dan werkt dit dus niet. De bal ligt wat dit betreft altijd gewoon bij de klant, het is zoals reeds gezegd niet mogelijk dit op mailserver niveau te reguleren.

Ik ben blij met de vele reacties, dank jullie wel. Eigenlijk zeggen jullie allemaal dat het niet mogelijk is om dit goed te reguleren, en ik gewoon limieten moet stellen. Eigenwijs als ik ben, ben ik toch benieuwd hoe bijvoorbeeld grote bedrijven zoals iBood.com dan hun nieuwsbrieven versturen, zonder geblacklist te worden. Of bedrijven als MailChimp, die toch ook behoorlijk grote hoeveelheden aan mail moeten versturen.

Dan ga je een andere situatie schetsen. Jij hebt het in je topic over een klant van je die besluit 2000 berichten te versturen.
Als je het zelf doet dan zorg je natuurlijk dat dit goed geregeld is: een aparte mailserver met een cronjob die elke X tijd een X aantal berichten verstuurd. Bedenk vooraf hoeveel tijd je nodig hebt. Als je Nederlandse ontvangers hebt, dan kun je best tussen 23.00 uur en 06.30 uur de verzending uitvoeren. Met ongeveer 50 ontvangers per minuut bijv. zit je aardig veilig qua bulk.

Oorspronkelijk geplaatst door YolkNet

Dan ga je een andere situatie schetsen. Jij hebt het in je topic over een klant van je die besluit 2000 berichten te versturen.
Als je het zelf doet dan zorg je natuurlijk dat dit goed geregeld is: een aparte mailserver met een cronjob die elke X tijd een X aantal berichten verstuurd. Bedenk vooraf hoeveel tijd je nodig hebt. Als je Nederlandse ontvangers hebt, dan kun je best tussen 23.00 uur en 06.30 uur de verzending uitvoeren. Met ongeveer 50 ontvangers per minuut bijv. zit je aardig veilig qua bulk.

Ja, daar heb je gelijk in. Maar de vraag was ook of ik het zo in kon stellen dat dit automatisch gebeurde, voor het geval dat iemand dit deed (leek me een best mooie, unieke feature). Is het mogelijk, om te zorgen dat Exim van dezelfde afzender de mail verspreid over een paar uur, en een lagere prio in de queue geeft?

Heel erg bedankt voor de tijd en moeite in jullie reacties.

1) een server zou prima 2000 mails moeten kunnen verwerken. Als je server dat niet kan, moet je een sysadmin inhuren die zorgt dat hij het wel kan.

2) De queue is ook deels "slim". Zo zal de mail van klant X en van klant Y allemaal quasi "door elkaar" behandeld worden. Het is niet omdat één mailtje van klant X nog niet afgeleverd is, dat de mail van klant Y niet afgeleverd gaat worden. Mailen ze op hetzelfde moment, dan gaat klant Y mogelijks wel een kleine vertraging merken (maar, mail is geen instant-messaging...)

3) mailchimp en vrienden hebben zeer specifieke mailinfrastructuren opgezet, met meerdere uitgaande mailservers, op verschillende lokaties, en eigen (interne) routering van de uitgaande mail naar de juiste uitsturende mailpunten. Daar zit je bijlange nog niet...

Oorspronkelijk geplaatst door BlueCola

@dreamhost_nl, dank je wel voor je reactie! Bij DirectAdmin is dit alleen globaal in te stellen.

In KB artikel http://help.directadmin.com/item.php?id=81 wordt ingegaan op de limieten per user. Deze zijn voor directadmin op de in de KB beschreven manier in te stellen tegenwoordig.

Oorspronkelijk geplaatst door wonko

3) mailchimp en vrienden hebben zeer specifieke mailinfrastructuren opgezet, met meerdere uitgaande mailservers, op verschillende lokaties, en eigen (interne) routering van de uitgaande mail naar de juiste uitsturende mailpunten. Daar zit je bijlange nog niet...

En vooral ook niet te vergeten dat die hun ip adressen (meestal) ook in whitelists staan van anti-spam oplossingen, google, msn, ...