Onderwerp: Spam Assassin training ?

Hallo mensen,

Aansluitend op een eerder bericht van Patrick, post ik hier ook nog maar een bericht in de hoop dat ik verder kom.
De server draait al geruime tijd, maar de spam heeft echt drastische vormen gekregen...soms wel 1200 berichten in 1 a 2 dagen
Spamassasin is aangekocht en de key ingegeven
Nu heb ik wel eens eerder iets gelezen over een training die je moet doen, maar als ik ga zoeken dan kom ik uit bij een seperaat email adres, moet ik dan Spamassasin trainen per email adres ?
kan je dit niet in een batch doen voor alles ? (ik begrijp dat ik het per email adres moet activeren, maar volgens mij kan ook dat ergens in plesk batch gewijs (moet ik even zoeken))

Op hoeveel moet HITS REQUIRED FOR SPAM staan ? wat is een goed gemiddelde, ik kan me voorstellen als ik die op 1 zet dat alles wat binnenkomt als spam wordt aangemerkt

anders vragen die ik heb

waar staat USER SERVER WIDE SETTINGS voor
is het verstanding om spam mail te verwijderen of een tag te laten geven ?

heeft iemand ervaringen met het aanmaken met black list en white list ?

Kortom wie kan mij uit eigen ervaring opweg helpen om Spamassasin up and running te krijgen.

Grt
Jeroen Jansen

Je moet inderdaad een los adres gebruiken voor SPAM traning... Een apart adres voor zowel positieve als negatieve mail. Ik gebruik zelf mijn catch-all adres (waar dagelijks ~5000 spam mail op binnen komt) als Spam training adres.

Voor "hits required for spam" kun je het beste wat experimenteren. Ik heb zelf tot nu toe de beste ervaring met "required=2.0". Dat is erg strict ingesteld, maar geeft wel het beste resultaat.

Zelf geef ik spam altijd de tag {SPAM?} mee zodat ikz elf alsnog kan bepalen of iets spam is of niet. Je krijgt vooral met een hoge setting toch wel heel af en toe wat false positives binnen.

een provider die ik gebruik heeft het op 7 staan, zelf gebruiken we 5

ff kijken 2+5+7 gedeeld door 3....kom ik ergens op 4.5 uit ik had hem op 4 gezet, redelijk gemiddelde om te beginnen denk ik
voor ik het vergeet: adonis en t.bloo bedankt voor jullie reply
Ben afgelopen nacht nog wat het puzzelen geweest
Ik heb in de blacklist van SA bij het server gedeelte wat blacklist domeinen ingevoerd, wat ik jammer vondt is dat ik geen optie kon vinden om een hele batch te importeren vanuit een tekst bestand ofzo :S
toch lukt er ergens nog iets niet helemaal (denk ik) ik heb bijvoorbeeld een entry in de blacklist *@besaway.com maar nu heb ik vandaag toch spam gekregen van een afzender The Blue Pill [Goffe@besaway.com]
heb ik wat fout gedaan of is dit een handig truukje van de afzender.
Verders vroeg ik me af of je ook ip adressen kan blokken en of dat ook zin heeft ?

ik heb die training bekeken maar ik snap er nog niet veel van, wat moet je daar doen :S is dat ook weer een kwestie van blacklist en whitelist entry's invoegen ? dat zou dan dubbel zijn, heeft dat wel nut ?

Nou ja....ik hoop dat 1 van jullie me hiermee iets verder kan helpen en dat deze topic ook voor andere handig is.

Grt
Jeroen

Spamassassin leert hier van alle mailboxen die er zijn. Voor alle gebruikers bij elkaar en daarvoor zijn er geen aparte mail boxen.
Ik gebruik hier de imap folder SPAM (en alle onderliggende folders daarvan). Alles wat dus buiten deze folder staat (en ook niet in de trash) wordt gezien als HAM.
Dit wordt gedaan vanuit een cronjob*.

Elke gebruiker kan zelf zijn eigen nivo instellen wanneer iets spam is. tevens wat er mee gedaan wordt als het spam is (verwijderen, header aanpassen incl hoe de header aangepast moet worden).

Daarnaast kan elke gebruiker van een enkele regels zelf instellen hoeveel puntjes daarvoor staan. En voor hem white- en black email/domains toevoegen.

Dit alles wordt opgeslagen in een mysql database en is dus via een webinterface in te stellen.

Persoonlijk staat mijn spamassassin level op 1.8 (Bayes_99 geeft al 1.8 puntjes)

* Naast de auto learn van het bayes filter draait er ook dagelijks een cronjob. Op deze manier kan een gebruiker een false-positive corrigeren zodat het later wel goed gaat. Een mail die in de spam folder stond, maar in een normale mail folder is neergezet, zal dan in de database opgenomen worden als HAM. De volgende keer zal het bayes filter mail met de zelfde kenmerken als niet-spam mail.
Het zelfde geld andersom.. mail die in de normale inbox komt, en men plaatst deze in de spam folder, dan zal na de cronjob de mail met zelfde kenmerken als spam worden gezien.

Origineel geplaatst door jeroen_123
toch lukt er ergens nog iets niet helemaal (denk ik) ik heb bijvoorbeeld een entry in de blacklist *@besaway.com maar nu heb ik vandaag toch spam gekregen van een afzender The Blue Pill [Goffe@besaway.com]
heb ik wat fout gedaan of is dit een handig truukje van de afzender.

En TO: in de header hoeft niet het zelfde weer te geven als de RCPT-TO: op de envelop
Het zelfde geld voor de FROM: in de header en de MAIL-FROM: op de envelop

Je ziet een TO: en FROM: in je mail programma, maar spamassassin zal de RCPT-TO of MAIL-FROM gebruiken on te controleren.

als ik idd in de properties kijk van de mail dan maken ze iedere keer subdomein aan (althans als verzender)
nu heb ik er bijvoorbeeld 1 met benneton.calmra.com maar ik heb in het filter staan *@calmra.com, de subdomein laat hij dus door, als ik nu een entry zou aanmaken *.calmra.com zou hij hem dan wel filteren ?

(ik begin er langzaam wegwijs in te worden....)

Alvast bedankt
Grt
Jeroen

Ik gebruik hier de imap folder SPAM (en alle onderliggende folders daarvan). Alles wat dus buiten deze folder staat (en ook niet in de trash) wordt gezien als HAM.
Dit wordt gedaan vanuit een cronjob*.

Misschien zie ik het verkeerd, maar betekent dat ook dat de inbox via die cronjob als HAM wordt gezien? Als iemand de niet afgevangen spam een dag niet verwijdert of verplaatst, dan leert SpamAssassin die mail als HAM ipv SPAM?

Overigens zie ik zelfs met mijn score setting van 2.0 vaak nog redelijk veel spam niet afgevangen worden. Er zijn dagen bij dat 80% hiermee wordt afgevangen, maar ook dagen dat het nog geen 30% is. Ik zou zelf denken, omdat ik mijn catch-all adres waar 5000 spam mail per dag op binnen komt, dat het percentage afgevangen spam veel hoger zou moeten zijn.... hij leert immers voor een deel ervan bij.. bij het andere deel staat al {Spam?} in de subject.

Origineel geplaatst door Adonis
Misschien zie ik het verkeerd, maar betekent dat ook dat de inbox via die cronjob als HAM wordt gezien? Als iemand de niet afgevangen spam een dag niet verwijdert of verplaatst, dan leert SpamAssassin die mail als HAM ipv SPAM?

Dat klopt. En daarom heb je ook de optie om de niet algemene database te gebruiken, maar een persoonlijke.
Bayes zal dan alleen jou mail indexeren en geen rekening houden met de spam-/ham kwalificatie van andere gebruikers.
Wel moetje dan aan de minimaal aantal mails hebben (ham en spam) om het filter te laten werken (500ham/500spam)

Daarnaast kun je het gebruik van het Bayes filter (wat dat is de enige waarvoor je mail moet gaan leren) uit kunt zetten en niet als test mee te laten nemen.

Overigens zie ik zelfs met mijn score setting van 2.0 vaak nog redelijk veel spam niet afgevangen worden. Er zijn dagen bij dat 80% hiermee wordt afgevangen, maar ook dagen dat het nog geen 30% is. Ik zou zelf denken, omdat ik mijn catch-all adres waar 5000 spam mail per dag op binnen komt, dat het percentage afgevangen spam veel hoger zou moeten zijn.... hij leert immers voor een deel ervan bij.. bij het andere deel staat al {Spam?} in de subject.

hier is het afhankelijk van het Bayes filter. Als ik deze uitzet, dan wordt er nog zo'n 70% maar afgevangen (geschat).

de tekst {spam?} wordt door jou spamassassin erin gezet, of staat die er al in? Als deze door jou spamassassin erin gezet wordt, dan wordt deze pas na de controle erin gezet en telt dus niet meer in het filter als kenmerk.

Maar al het boven staande om spam te leren gaat alleen om het bayes filter. spamassassin kan ook werken zonder dit filter

Als ik de mail source bekijk dan staat bij mij ook een Bayes filter ingesteld, alleen lijkt die dan niet te werken zoals het hoort als er toch zoveel doorheen glippen. De onderstaande quotes zijn van spam mails die niet als spam afgevangen zijn:

X-Spam-Status: No, score=1.0 required=2.0 tests=BAYES_00,RCVD_BY_IP,
RCVD_NUMERIC_HELO,SARE_RECV_PORTHELO_1 autolearn=no version=3.0.2

X-Spam-Status: No, score=-1.4 required=2.0 tests=ALL_NATURAL,BAYES_00,
MONEY_BACK autolearn=no version=3.0.2

Deze hieronder ook, maar hier zie ik opeens dat hij dit spam mailtje geleerd heeftals HAM? En dat terwijl ik de HAM mailbox nooit gebruik. De HAM box heeft verder ook een naam die absoluut niet te raden is door spammers:

X-Spam-Status: No, score=-2.6 required=2.0 tests=BAYES_00 autolearn=ham
version=3.0.2

Hieronder staan SpamAssassin headers van een mail die wel is afgevangen:

X-Spam-Level: **********
X-Spam-Status: Yes, score=10.0 required=2.0 tests=BAYES_50,
RCVD_HELO_IP_MISMATCH,RCVD_ILLEGAL_IP,RCVD_NUMERIC _HELO,
SARE_HTML_URI_RM,SARE_SPEC_ROLEX,SARE_SPEC_ROLEX_R EP autolearn=no
version=3.0.2
X-Spam-Report:
* 2.2 RCVD_HELO_IP_MISMATCH Received: HELO and IP do not match, but should
* 1.2 RCVD_NUMERIC_HELO Received: contains an IP address used for HELO
* 0.9 RCVD_ILLEGAL_IP Received: contains illegal IP address
* 1.7 SARE_HTML_URI_RM URI: text uri to unsubscribe link
* 0.0 BAYES_50 BODY: Bayesian spam probability is 40 to 60%
* [score: 0.4998]
* 1.7 SARE_SPEC_ROLEX Rolex watch spam
* 2.3 SARE_SPEC_ROLEX_REP Rolex Replica

Origineel geplaatst door Adonis
Als ik de mail source bekijk dan staat bij mij ook een Bayes filter ingesteld, alleen lijkt die dan niet te werken zoals het hoort als er toch zoveel doorheen glippen. De onderstaande quotes zijn van spam mails die niet als spam afgevangen zijn:

Bayes_00 (0 tot 1% spam kenmerken) geeft meestal een negatief aantal punten.
Standaard is alles Bayes 00 tm Bayes_50 een negatief aantal punten (meer ham dan spam) en bayes_50 tot bayes_99 postief aantal punten (meer spam dan ham).

De result die je hier laat zien, geeft dus aan dat van die mail, bayes de meeste kenmerken van HAM gevonden heeft. (kenmerken die uit jou mail geleerd is)

Bayes filter werkt echter wel, anders zou er geen Bayes_XX resultaat tussen staan.

Deze hieronder ook, maar hier zie ik opeens dat hij dit spam mailtje geleerd heeftals HAM? En dat terwijl ik de HAM mailbox nooit gebruik. De HAM box heeft verder ook een naam die absoluut niet te raden is door spammers:

De auto_learn van bayes staat aan. Dat betekent dat als die 'zeker' weet dat het geen spam is, dat die het automatisch zal leren als HAM. ongeacht waar de mail in een mailbox terecht komt. Dit heeft dus niets met jou verdere indeling te maken van waar je het opslaat.

Uit mijn hoofd is het zo dat alles met een score van 0.3 en lager automatisch als HAM geleerd wordt. Wil je dit niet moet je of die level aanpassen of autolearning uitzetten.
Het zelfde geld voor spam. Boven de 11 (uit mijn hoofd) als automatisch als SPAM geleerd worden. Ongeacht het nivo waarop jij het als spam laat aanmerken.

Hieronder staan SpamAssassin headers van een mail die wel is afgevangen:

Bayes_50.. hiervan weet het Bayes filter dus niet of het nu wel of niet spam is.. 50% kan dat het spam is. Hier zal het Bayes filter 0 puntjes toevoegen aan de score.

Het bayes filter kan alleen juist werken als die voldoende en juiste HAM en SPAM heeft gekregen. Indien daar een scheve verhouding tussen zit zal het Bayes filter mails verkeerde classificatie geven.

Hallo Allemaal,

Zo te zien is dit onderwerp nogal een heet hangijzer bij iedereen....geweldig al die reacties.
Ik zat hierdoor het volgende te denken: iedereen is druk bezig met autolearnen, spam, ham en weet ik veel wat allemaal, is er geen optie om deze bestanden met elkaar uit te wisselen, dit onder het motto 'strong together'

Grt
Jeroen

Ps ik ontdek net dat alleen voor een aantal mailboxen de antispam is ingeschakeld, je kan in plesk toch ook een actie doen die voor alles of iedereen geld, ik krijg dat ding alleen niet meer gevonden, iemand een idee....of moet ik echt al die mailboxen handmatig activeren :S

Origineel geplaatst door jeroen_123
Hallo Allemaal,

Zo te zien is dit onderwerp nogal een heet hangijzer bij iedereen....geweldig al die reacties.
Ik zat hierdoor het volgende te denken: iedereen is druk bezig met autolearnen, spam, ham en weet ik veel wat allemaal, is er geen optie om deze bestanden met elkaar uit te wisselen, dit onder het motto 'strong together'

bayes is er juist voor bedoelt om een filter te maken welke gaat reageren op wat jij wel en niet spam vindt. Door het uitwisselen van de data maak je dat dus weer ongedaan.

Door het indexeren van jou mail als HAM en SPAM haalt die daar overeenkomstige kenmerken uit die voor jou typerend zijn, om later daarom weer te kunnen classificeren.

Ah, hij werkt dus wel. Alleen jammer dat door de gigantische hoeveelheid spam die ik ontvang (mijn achternaam domein staat helaas op een van de vele spam cd's die in omloop zijn) toch een groot deel niet afgevangen wordt.

Bedankt voor de info bakkerl, ik heb weer wat bijgeleerd

ik reg vanavond een domein waar ik bergen spam op wil ontvangen.. wie gaat me helpen?