Anti spam filter

Een nieuw e-mailaccount is nog niet belast met spam, maar al kort na gebruik zullen de eerste spamberichten binnenlopen. Zonder anti spam filter kan je het overzicht aanvankelijk nog wel bewaren, maar het beheren van een mailbox met 20 of meer spamberichten per dag is zonder anti spam filter nauwelijks haalbaar.

Spam filter bij mailproviders en webhosters

Bij de ingebruikname van een nieuw e-mailadres zal na verloop van tijd de spambelasting toenemen. Indien de basisregels ter vermijding van spam niet meer werken, moet de mailingang worden gefilterd om het overzicht te behouden. Spamfilters worden inmiddels door veel mail- en internetproviders standaard aangeboden. Je moet daarom bij de keuze van een e-mailprovider opletten dat het pakket inderdaad een dergelijke service bevat.

De spamfilters die door webhosters worden ingezet voor de mailaccounts van hun webmasters, zijn vaak van slechte kwaliteit. In een dergelijk geval wordt aangeraden om een automatische doorverwijzing naar een freemail-account in te stellen, waar alle inkomende mail op spam en virussen kan worden gefilterd. Aansluitend kan dan weer een redirect naar het echte, maar niet voor het publiek zichtbare webmasteraccount worden gemaakt.

Wanneer is lokaal anti spam filter zinvol?

De spamfilters van e-mailproviders zijn in de regel zó goed dat voor een particulier account, dat niet meer dan gemiddeld met spam bestookt wordt, op de PC geen lokaal filterprogramma noodzakelijk is. Een privé-account dat dagelijks met 100 spams of meer wordt belast, moet sowieso als “gebrandmerkt” worden beschouwd en kan misschien beter worden afgesloten.

Voor een commercieel mailaccount met e-mailadressen die op veel plaatsen in omloop zijn en waarvan men niet makkelijk afstand doet, moet de spambelasting bij tenminste 50 gemiddeld per dag liggen. In dat geval kan aanschaf en onderhoud van een clientbased spamfilter nuttig zijn.

Er zijn ook mailprogramma's die zélf een redelijk goed spamfilter ingebouwd hebben. Een voorbeeld is Thunderbird, aangeboden als freeware en een goed alternatief voor MS Outlook. Deze e-mailclient beschikt over een automatisch en zelflerend spamfilter, dat na een korte inwerkperiode heel goed werkt.

Ontstaan en ontwikkeling anti spam filter

Spamfilters hebben een lange ontwikkelgeschiedenis achter de rug. De eerste filters waren pure trefwoordfilters die de mailtekst op zogenaamde "bad-words" testten. Een van de bekendste is natuurlijk het woord "Viagra". Bevat de onderwerpregel of de mailtekst het woord "Viagra" dan slaat het filter alarm en sorteert het bericht in een aparte, als "spam" of "junk" benoemde map.

Andere bekende spamwoorden zijn bijvoorbeeld: gunstig, sex, geil, slet, pillen, porno, krediet, goedkoop, hypotheek, casino, rijk worden, enzovoort. De meeste spamfilters houden een ‘bad-word-list’ van honderden van dit soort sleutelwoorden bij. Die ‘foute-woorden-lijst’ was dan ook de eerst bekende filterregel op basis waarvan spamfilters e-mails indeelden. En dat heeft ook geruime tijd is goed gefunctioneerd. Maar spammers leren snel bij en hebben methodes ontwikkeld om deze “foute-woorden-filters” te omzeilen.

Bekende spamtrucs

Daartoe behoort bijvoorbeeld de bekende truc om het woord "Viagra" met speciale tekens te verbasteren: daaruit ontstaat dan bijvoorbeeld "V!@gra" of "Vi@gra" of elke andere denkbare variant. Een andere spamtruc is de ontregeling door het tussenvoegen van spaties of speciale tekens, of een verticale schrijfwijze. Dit resulteert in weer nieuwe varianten om de filters te misleiden: V * i * a * g * r * a*.

Het is dus lang niet altijd mogelijk om een spamfilter met deze ‘slechte-woorden-lijsten’ volledig dicht te timmeren. Men beperkt zich daarom tot het testen van andere typische spambevliegingen zoals het gebruik van meerdere uitroeptekens in de onderwerpregel ( 'Get Rich Now !!!!!!!!"). Typisch voor een van de belangrijkste Russische megaspammers is het gebruik van "Re:" aan het begin van de onderwerpregel, gevolgd door een een nummer tussen vierkante haken: "Re: [8]", in een verder lege onderwerpregel. Deze zogenaamde Kuvayev-variant kan men makkelijk uitfilteren met de filterregel: Onderwerp bevat "Re: [".

Verfijning van spamfilters

In de loop van de tijd werden de filterprogramma’s meer en meer verfijnd. Men filtert tegenwoordig niet alleen meer op slechte woorden maar onderzoekt bijvoorbeeld of de mailtekst een link bevat. Het daarbij tevoorschijnkomende domein wordt dan vergeleken met een blacklist van bekende spammerdomeinen. Gaat het om een bekend spammerdomein of een spammer DNS-server, dan wordt de kwalificatie spam toegekend.

Vroegere spamfilters kenden slechts twee kwalificaties: ofwel spam ofwel geen spam. Tegenwoordige spamfilters berekenen een zogenaamde waarschijnlijkheidsscore, d.w.z. de waarschijnlijkheid dat er sprake is van spam of niet. Dit heeft het voordeel dat verschillende criteria nu gebundeld in de beslissing meegenomen kunnen worden. Het spamfilter hoeft niet langer op basis van één enkel criterium een beslissing te nemen. Er worden veel verschillende criteria in de kansberekening opgenomen. En individuele criteria kunnen daarbij getrapt worden gedefinieerd, elk met een waarschijnlijkheid van 0 tot 100%. Op die manier is het mogelijk om criteria op te stellen, die op zichzelf genomen weliswaar nog een stuk onzekerheid bevatten, maar die eventuele spam samen met andere toepasselijke criteria goed en veilig kunnen identificeren.

Bayesian filter

Er worden verschillende statistische berekeningsmethoden toegepast maar de zogenaamde "Bayesian filtering" is wel de bekendste. Als één enkel criterium mogelijkerwijs op spam duidt, dan wordt voor dit criterium een bepaalde individuele score gedefinieerd. Men kan bijvoorbeeld een filterregel definiëren waarbij spam voor 50% waarschijnlijk is als in de e-mailtekst een URL wordt aangetroffen met een typisch spammerdomein zoals Biz, Info, Hk, Org of TL. Deze filterregel alléén zal het bericht nog niet 100% als spam classificeren. Maar in combinatie met een ander filterregel waarvan het criterium eveneens opgaat, kan het wellicht volstaan voor een classificering spam. Staan bijvoorbeeld uitroeptekens in het onderwerp ( “Get pillz now!!!") dan komt daarmee een andere filterregel in beeld en in de Bayesformule vloeien dan deze beide criteria samen.

Gebruik van een e-mail-alias

Bekend spamgedrag is ook de invoeging van een e-mail-alias in de onderwerpregel. Is bijvoorbeeld het mailadres “Frits.Mijer@mijn-provider.nl”, dan ziet men vaak de volgende onderwerpregel in een spambericht: "Get Rich now Frits.Mijer!"

Omdat een normaal denkend mens niet snel zo een duffe onderwerpregel met een alias als pseudo-adres in een e-mail opneemt, moet men een filterregel definiëren die de eigen adres-alias als ‘bad-word’ betitelt en die met een hoge score van pakweg 80% aanduidt. Aansluitend zullen er dan niet veel andere positieve criteria nodig zijn voordat het filter toehapt en de mail aflevert waar die thuishoort: in de ‘ongewenste bestandenmap’.