Onderwerp: Spamassassin Bayes probleem

Onze Bayes filter werken geweldig, eigenlijk iets te goed!
Door het vele leren van spammails die voornamelijk in het engels zijn opgesteld worden inmiddels steeds meer normale mails welke in het engels zijn geschreven gezien als spam.

Deze tekst (letterlijk copy&paste van google's helppaginas) levert inmiddels al een BAYES_50 op!

Just type the word(s) you want to search for in the text box and click "Search." That's all there is to it!

If you want more control over your search, click the "Advanced Search" link to the right of the search button. There you'll find options to specify titles, authors, languages and more. Once you get your search results, there will be an additional link that allows you to switch between displaying the results with either the most relevant or recent results at the top.

In the Blogger version of the interface, there is an extra "use search options" link beneath the search box. This will show a few of the most common advanced options, such as a specific blog or a date range to search within.

Meer mensen met dit probleem?

BAYES_50 is het een resultaat als het filter niet weet of het wel of niet spam is (50% kans op spam). Als het goed is geeft een BAYES_50 een 0 punten resultaat.

Maar dat kun je zelf controlleren. Het zijn dus de gezamelijke andere filters die bovenstaande (mail) tot spam maken en niet BAYES.

Is bayes een goede spamoplossing dan?

Bayes is een leermethode voor de spamfilter. Die is zo goed, zoals je hem traint. Leer je je spamfilter niets, dan kan die ook niets.
Voer hem dus geregeld spam en zorg dat je false-positives zelf als niet-spam markeert

Het is heel belangrijk dat je ook niet spam als zodanig aan je spamfilter leert. Als je bij wijze van spreke 500 spams hebt gevoerd, voer hem dan ook zeker 500 niet spam mails. Als hij dit dus als spam ziet, leer hem dan dat het ham is en je probleem zal snel verholpen zijn!

de verhouding gelearnde (mooi woord) spam en ham is ongeveer gelijk. hij auto-learned in ieder geval goed! Helaas wil hij veel van die 'bayes_50' mails niet learnen als ham. Gaan jullie dan handmatig een aantal mailboxen af om deze te laten learnen?

soms train ik hem wat "bij", ofwel in de ham-richting, ofwel in de spam-richting. Wat ik wel merk is dat de image-spam ervoor zorgt dat er veel "tekst" gewoon als "dubieus" wordt gezien (score 50 dus)...

Dat was inderdaad het principe.

Maar met de huidige, recente types spams werkt Bayes eigenlijk niet meer.
Men vult het bericht nu met willekeurige, normale Engelse tekst.
Het is sterk af te raden om zo'n mails te trainen!

Wij hebben Bayes dan ook recentelijk weer afgezet, en vervangen door de SARE custom rulesets, die wél betrouwbare resultaten opleveren.

Via sa-update enz... kan je die dan dagelijks automatisch updaten.
(ff in cron job zetten)
Je moet ook wel de gpg key vooraf importeren, maar via de SA wiki vind je alle nodige informatie!

Oorspronkelijk geplaatst door dotnetjunkie

Dat was inderdaad het principe.

Maar met de huidige, recente types spams werkt Bayes eigenlijk niet meer.
Men vult het bericht nu met willekeurige, normale Engelse tekst.
Het is sterk af te raden om zo'n mails te trainen!

Erm, dit valt best wel mee. Met de juiste noise reduction en goede training zullen de random spamwoorden vanzelf als "niet boeiend" worden aangemerkt en niet eens worden getrained. De kenmerken van spam zal een goed Bayes filter er nogsteeds uithalen. Haal hier met dspam (wat alleen maar puur Bayes reasoning filtering is) nu na 1 weekje training al 99+% accuracy zonder false positives, en dat zonder dat enig onderhoud van de beheerder nodig is (geen spamassassin of rules updaten en dat soort werkjes).

Is de bayes filter van dspam dan zoveel beter dan die van SA ?
Weet je toevallig waar de verschillen zitten?

SA heeft een heel basic bayesian filter, dspam richt zich puur op bayesian filtering en heeft ook chained tokens (dus meerdere woorden achter elkaar raten), noise reduction, automatische whitelisting en kan meerdere verschillende algoritmes aan. Ook is het geschreven in C en erg snel (mailtjes kunnen in 0.1 tot 0.01s gerate worden).