Der Spamfilter von Mozilla 1.3

26. März 2003 / von Leonidas / Seite 2 von 2 / Dieser Artikel erscheint gleichzeitig auch auf Hard Tecs 4U.

Im Gegensatz dazu, daß die Filter-Funktion selbst keinerlei Einstellungen vom Benutzer verlangt, muß der nun aktive Spamfilter aber erst einmal trainiert werden. Dazu muß der erst einmal "nackte" Filter nun mit vorhandenen Mails gefüttert werden, welche aber vorher vom Benutzer in "Junk" und "nicht Junk" unterteilt wurden. Dazu durchforstet man am besten den Papierkorb des Mailprogramms nach Spam-Mails und deklariert diese mittels des Junk-Buttons als "Junk".

Danach ist es sinnvoll, die zuvor als Junk deklarierten Mails zusammenzufassen und in den Junk-Ordner zu verschieben. Danach ist der Papierkorb frei von Spam-Mails und es wird einfacher: Dann werden als letzter Schritt der Vorbereitungen einfach alle im Papierkorb befindliche Mails als "Junk-frei" deklariert, um dem Spamfilter seine Positiv-Beispiele zu geben:

Das Training des Filter ist auf beiden Seiten wichtig! Denn erst mit der Information, welche Worte "gute" Mails und welche "schlechte" Mails benutzen, kann der Filter diese Mails zukünftig automatisch voneinander trennen. Wir haben unseren Filter mit 300 Spam-Mails und 2700 normalen Mails gefüttert - dies sollte eigentlich schon eine gute Ausgangsbasis sein (wir bekommen natürlich deutlich mehr Spam-Mails, die 300 Spam-Mails waren nur die aus den letzten Tagen, die 2700 normalen Mails sind alle seit Februar). Für die Übernahme der 2700 normalen Mails auf einmal in die Junkfrei-Datenbank benötigte das Programm im übrigen ca. eine Minute, was aber bei der Masse der Mails vertretbar ist.

Mit diesem Filter bewaffnet ließen wir Mozilla nun auf ein paar neu eingetroffene Mails los: Und siehe da, der Filter machte genau das, was man sich von einem Mailfilter erwartet: Die Spam-Mails wurden automatisch in den Junk-Ordner verschoben, die normalen Mails befanden sich allesamt wie regulär im Posteingang. In diesem ersten Test mit nur 10 neuen Mails gab es zudem keine einzige Falscherkennung - unser Ersteindruck zum Spamfilter in Mozilla 1.3 war somit sehr positiv.

Nun sind 10 Mails kein Maßstab, so daß wir einfach einmal drei Tage mit dem Abrufen neuer Mails gewartet haben, um diesen Versuch in größerem Maßstab zu wiederholen und somit präzisere Ergebnisse liefern zu können. Heute morgen warteten dann schon exakt 280 Mails darauf, gelesen bzw. vorher erst einmal auf Spam-Inhalte untersucht zu werden. Von den neuen Mails klassifizierte das Programm erst einmal 173 als "normal" und 107 als "Junk", die Spamprüfung der 280 neuen Mails dauerte im übrigen nur 2-3 Sekunden:

Danach war die Stunde der Wahrheit angebrochen: Wieviele der 280 neuen Mails ordnete der Spamfilter falsch ein? Wichtig ist dabei vor allem, daß keine normalen Mails unter den Spam-Mails sind, eine fälschlicherweise nicht als Spam deklarierte Spam-Mail im normalen Posteingang ist dagegen kein Beinbruch. Doch die Überraschung: Von den als Spam deklarierten 107 Mails war keine einzige falsch eingeordnet. Jene 107 Mails waren alle einwandfreie Spam-Mails, womit der Filter erst einmal die allerdringlichste Aufgabe erledigt, keine normalen Mails fälschlicherweise als Spam zu deklarieren.

Von den im normalen Posteingang noch befindlichen 173 neuen Mails waren allerdings immerhin 30 Spam, also eine Fehlerquote von runden 17 Prozent von den normalen Mails bzw. runden 11 Prozent von allen eingegangenen Mails. Im Vergleich zu anderen Spam-Lösungen ist diese Quote exzellent (Mailshield kam auf locker 50 Prozent Fehlerquote im default-Modus), wobei uns natürlich nur eine 100%ige Quote wirklich zufriedenstellen kann :-). Nichts desto trotz wurde das Spam-Aufkommen wirksam bekämpft, ohne das deswegen große Umstände gemacht werden mußten und ohne daß normale Mails fälschlicherweise als Spam deklariert wurden.

Und natürlich steht der Filter immer noch ein wenig am Anfang, kann also mit der Zeit mit immer neuen Mails noch weiter dazulernen. Dazu muß man natürlich die Spam-Mails, welche doch noch im normalen Posteingang gelandet sind, auch als "Junk" markieren. An dieser Stelle ist es etwas schade, daß der Junk-Button dies zwar mit einem Klick (pro Mail) erledigt, diese Mail aber nicht auch gleich in den Junk-Ordner verschiebt, denn im Posteingang hat eine als "Junk" markierte Mail dann doch nichts mehr zu suchen.

Allerdings geht diese Funktion doch schneller von der Hand, als gedacht. Da nur noch jede 6. Mail im Posteingang eine Spam-Mail ist, fühlt man sich auch nicht so von Spammings bedrängt wie bisher, wo die Spamquote bei um die 50 Prozent lag. Nachdem man alle neuen Mails gelesen und die Spam-Mails, welche doch im Posteingang gelandet sind, als "Junk" markiert hat, kann man letztere zusammengefasst in den Junk-Ordner verschieben. Der Filter selber hat durch die Klassifizierung als "Junk" inzwischen wieder etwas dazugelernt an "guten" und "schlechten" Worten, sowie automatisch die Gewichtung der Worte angepasst. Mit den nächsten Maileingängen dürfte sich die Erkennungsquote also sehr langsam, aber stetig verbessern.

Damit können wir den Spamfilter von Mozilla 1.3 nur ausdrücklich empfehlen. Das Programm macht genau das, was man sich von einem Spamfilter erwartet: Es reduziert die Anzahl der Spam-Mails im Posteingang deutlich, ohne aber Mails fälschlich als Spam zu bezeichnen. Insbesondere bei Anwendern, welche dienstliche Post bekommen, darf letzteres niemals passieren, denn eine nicht erhaltene dienstliche Mails könnte fatale Folgen haben. Demzufolge ist es auch so hoch zu bewerten, daß Mozilla 1.3 keine einzige Mail fälschlicherweise als Spam deklarierte - daß dann auch ein paar Spam-Mails nichts als Spam erkannt wurden, ist so gesehen verschmerzbar.

Mozilla 1.3 ist wie schon erwähnt ein Komplett-Paket aus Browser und Mailprogramm und ist in deutscher Sprache hier für Linux und Windows downloadbar. Zudem bieten wir hier auch unsere Spam-Datenbank an, welche wie gesagt mit nunmehr runden 3300 Mails ziemlich gut trainiert wurde und damit auch für Einsteiger eine gute Ausgangsbasis darstellen sollte. Wie man diese einbindet, erklärt die beiliegende ReadMe-Datei zum Download.

Ob man den Mozilla-Browser nutzen will, spielt für das Mailprogramm erst einmal keine Rolle, allerdings ist der alternative Browser deutlich sicherer als der Internet Explorer - und benötigt auch nicht aller drei Tage neue Sicherheitspatches :-). Die Sicherheit des Browsers färbt auch auf das Mozilla-Mailprogramm ab, welches deutlich weniger viren-gefährdet ist als die Microsoft-Programme. Schaltet man zudem auch noch Javascript für das Mail-Programm ab (diese Einstellung betrifft dann nicht den eigentlichen Browser), so ist das Mozilla-Mailprogramm geradezu narrensicher.

Die heutzutage üblichen selbststartenden Viren funktionieren dann in dieser Einstellung allesamt komplett nicht. Insofern macht es wohl mehr Sinn, Mozilla oder ein anderes alternatives Mail-Programm zu verwenden, als zu hoffen, Microsoft würde die Viren-Problematik irgendwann einmal mit dem tausendstem Patch in den Griff bekommen. Somit können wir nur wiederholen, daß Mozilla 1.3 ob als Browser oder als Mailprogramm auf jeden Fall einen Versuch wert ist, ganz besonders mit dem ab Version 1.3 aktiven und sehr sauber funktionierendem Spamfilter.

Nachtrag vom 28. März 2003:

Wie Golem berichten, werkelt ein Team von Softwareentwicklern an einem Mailprogramm auf Basis des Mozilla 1.3 Projekts. Dieses soll nicht den eigentlichen Mozilla-Browser enthalten, sondern ein reines Mailprogramm werden, inklusive natürlich des mit Mozilla 1.3 eingeführten Spamfilters. Zu diesem stellen wir wie schon im Artikel ausgeführt eine umfangreiche Spam-Datenbank zum Download zu Verfügung, weil der Spamfilter in Mozilla 1.3 ausdrücklich auf das Training mit "guten" und "schlechten" Mails angewiesen ist. Um diese Spam-Erkennung noch etwas zu verbessern, haben wir unseren Spamfilter noch mit einigen tausend weiteren alten Mails konfrontiert, so daß dieser nun Daten von 1200 Spam-Mails und ca. 13400 normalen Mails enthält (vorher: 400/3300). Die Erkennungsquote ließ sich damit bei uns von 89 auf 92 Prozent steigern, dabei wurde wiederum keine "normale" Mail fälschlicherweise als Spam deklariert.

Nachtrag vom 4. April 2003:

Mit der Option "Keine externen Grafiken in Mail- & Newsgroup-Nachrichten laden" unter Bearbeiten/Einstellungen/Datenschutz & Sicherheit/Grafiken kann man verhindern, daß Spammer die Existenz der eigenen Mailadresse verifizieren können. Dazu versehen die Spammer die Links zu diesen im Web liegenden Grafiken mit einer eindeutigen ID-Nummer. Greift man auf diese Grafik mit der eindeutigen ID-Nummer zu, weiss der Spammer über die Auswertung seiner Log-Files, welche Mailadresse sich dahinter verbirgt und daß diese Mailadresse also existiert und benutzt wird.

Mit diesem Wissen bewaffnet, wird der Spammer nun noch viel mehr Spam an diese Mailadresse schicken, da er weiss, daß jemand diese Mails auch liest. Zum anderen wird er diese Mailadresse auch an andere Spammer verkaufen, welche natürlich ebenfalls stärker an funktionierenden Mailadressen interessiert sind. Die Folge wird also ein erhöhtes Spam-Aufkommen sein, wenn man diese Funktion des Nachladens von Grafiken aus dem Web aus dem Mailprogramm heraus nicht deaktiviert. Eine Deaktivierung betrifft im übrigen nicht in der Mail direkt angehängte Grafiken, sondern allein nur im Web befindliche Grafiken.

Nachtrag vom 20. Juni 2004:

Unsere Mozilla 1.3+ Spam-Datenbank hat soeben ein kräftiges Update erfahren: Hinzugefügt wurden bei dieser die Daten zu 18.400 Spam- und 11.700 normalen Mails, so daß sie nun ingesamt die Daten von 25.900 Spam- und 34.400 normalen Mails enthält. Wie den Zahlen schon zu entnehmen, hat sich in letzter Zeit (die neuen Daten entstammen dem Zeitraum Dezember 2003 bis heute) das Spam-Aufkommen stark erhöht: War es vorher noch klar unterhalb von 50 Prozent, ist es 2004 auf nunmehr 61 Prozent gestiegen, was einen Spam-Filter immer notwendiger werden läßt. Durch die schiere Masse der Datenbank von nunmehr 60.300 Mails sollte auch für Mozilla-Neulinge ein guter Einstieg gewährleistet sein.

Durch intensives Training werden mit dieser downloadbaren Spam-Datenbank inzwischen sogar die Viren-Attacken der letzten Zeit zuverlässig erkannt und gleich ausgefiltert. Die aktuellen Mozilla-Mailprogramme haben zudem einen gegenüber der originalen Spamfilter-Version in Mozilla 1.3 kleinen, aber feinen Schritt nach vorn getan: Manuell als "Spam" markierte Mail gehen nun automatisch in den Spam-Filter (automatisch erkannte sowieso), so daß nun auch das manuelle Verschieben der Spam-Mails wegfällt. Damit ist der Spam-Filter von Mozilla inzwischen so komfortabel wie ein einfaches Löschen von Spam-Mails. Der Vorteil des Filters liegt dann natürlich darin, daß ca. 85 Prozent der Spam-Mails automatisch erkannt und so gar nicht erst ins Blickfeld des Anwenders geraten (und ohne daß es dabei eine nennenswerte Anzahl an Falsch-Erkennungen gäbe).