Spam nervt. Für Entspannung in den Mailboxen sorgen Spamfilter – vorausgesetzt sie wirken zuverlässig und verschonen die Empfänger mit Nebenwirkungen. Das Linux-Magazin hat fünf Appliances, zwei Service-Anbieter sowie die Filter von GMX und Web.de einem aufwändigen Langzeittest unterzogen.

Laut Spam-o-Meter [1] sind derzeit 89 Prozent aller versandten Mails Spam – T-Online bezeichnet gar 97 Prozent aller eingehenden Nachrichten als Spam [2]. Wie stark sich diese Werte unterscheiden, fällt bei der umgekehrten Betrachtung auf: Einmal sind elf, einmal nur drei Prozent aller Mails kein Spam. Egal was stimmt, die Flut ist mehr als lästig und verlangt nach Gegenmaßnahmen, am besten schon im Netzwerk, bevor der Müll den Mailclient erreicht.

Eingeladen, um an einem sehr aufwändigen Test teilzunehmen, waren zahlreiche Hersteller von Antispam-Appliances. Nicht alle haben sich getraut, sodass das Testfeld (Tabelle 1) letztlich Geräte von Symantec, McAfee, Ironport, Canit (Pyramid) und IKU umfasste (Abbildung 1). Dazu kamen zwei Application Service Provider (Expurgate und Spam Stops Here). Als Vergleich dienten GMX und Web.de mit je einem ihrer Spam-gefilterten E-Mail-Accounts.

Tabelle 1: Testfeld

Dabei ist nicht einmal klar, was genau der Begriff Spam meint: Ursprünglich stammt er aus dem Usenet, wo er die unerwünschten Werbepostings bezeichnete. Als dieses Phänomen auch die E-Mail erreichte, war es bald üblich, auch UCE (Unsolicited Commercial E-Mail) als Spam zu bezeichnen. Doch der Volksmund ist faul, heute meinen viele mit Spam schon jede unerwünschte Mail und differenzieren nicht weiter.

Je nach der Begriffsdefinition schwankt daher auch die Spam-Menge. Der vorliegende Test konzentriert sich auf klassischen Spam. Viren und Wurm-Mails durften die Systeme zwar filtern, in der Auswertung schlägt sich das aber nicht gesondert nieder.

Testaufbau

Im Vorfeld diskutierten Redaktion und Autor lange, wie der Test ablaufen sollte. Der verbreitete Ansatz nimmt bekannten Spam aus den großen Archiven [3] und setzt die Filter darauf an (siehe Kasten “Filtertechniken”). Das zeigt aber bestenfalls, ob die Hersteller ihre Hausaufgaben gemacht und ihre Filter gegen bekannten Spam getestet und optimiert haben. Die Spammer versuchen mit ihren Tarnmethoden aber immer erneut, die bestehenden Filter gezielt zu überlisten, und testen ihren Werbemüll gegen die bekannten Filter.

Filtertechniken

E-Mail-Black- und Whitelists: Diese Listen verzeichnen E-Mail-Adressen bekannter Spammer (Blacklist) sowie bekannter, guter Mailversender (Whitelist). Letztere senkt vor allem die Wahrscheinlichkeit von False-Positives und ist daher sehr sinnvoll. Die Blacklists bleiben wegen üblicherweise gefälschter Absenderadressen weitgehend unwirksam. IP-White- und Blacklists: Analog lassen sich schwarze Liste von spammenden IP-Adressen anlegen. Das war gut, als Open Relays noch die Hauptverteiler von Spam waren. Heutzutage arbeiten viele Blacklists sehr aggressiv und blockieren generell alle dynamischen IP-Adressen und gerne auch etliche asiatische Länder. Sie treffen damit aber viele Unschuldige. URL-Blacklisting: Viele Spam-Mails bewerben Webseiten. Taucht eine einschlägige URL in der Mail auf, ist sie wahrscheinlich Spam. Contentfilter suchen im Mailinhalt nach typischen Spam-Formulierungen. Beliebt sind Ausdrücke wie “click here” und “unsubscribe”, aber auch “Viagra”. Spammer wehren sich und tarnen die verräterischen Wörter kreativ, etwa als »/1@6R/-«. Lazy-HTML/Webbug: Diese spezielle Ausprägung eines Contentfilters fahndet nach Mails mit Bildern, die der Mailclient aus dem Internet herunterladen soll. Meist liefert ein Server-seitiges Skript diese Bilder und wertet nebenbei einen eindeutigen GET-Parameter aus. Spammer setzen diese Technik ein, um zu erkennen, ob die Mail gelesen wurde und um ihre Mailadressen zu verifizieren. Bayes-Filter: Im Gegensatz zum manuell konfigurierten Contentfilter, der statische Listen einschlägiger Wörter enthält, setzt der Bayes-Filter zum Füllen dieser Wortlisten Wahrscheinlichkeitsberechnungen ein. Er analysiert Spam- und Ham-Mails und bestimmt anhand des Vorkommens bestimmter Ausdrücke die Wahrscheinlichkeit, dass eine vorliegende Mail unerwünschte Werbung ist. Spammer versuchen diese Filter zu verwirren, indem sie zufällige Wortlisten in ihre Ergüsse integrieren. Das erklärt den Wortsalat, der sich heutzutage oft in Spams tummelt. Bildfilter versuchen den Inhalt von Bildern zu analysieren. Frühe Exemplare beschränkten sich mit einer einfachen Logik auf das Erkennen von Rosatönen: Rosa könnte Haut sein, viel Haut könnte Porno sein und damit Spam. Ungünstig ist das für Menschen mit einer Glatze, die ihre Bewerbungsmappe mit Foto per E-Mail einsenden. Prüfsummenfilter und kollaborative Filter vergleichen eintreffende Mails vieler Anwender und versuchen Ähnlichkeiten zu erkennen. Die Logik ist bestechend: Empfangen viele Nutzer die gleiche Mail, ist sie wahrscheinlich Spam. Gefährdet sind Newsletter. Gegen deren Falsch-Klassifikation helfen Whitelists. Vorsichtigere Filter warten, bis einzelne Nutzer eine Mail gezielt als Spam markieren. Zudem kommen alle anderen Filterkriterien zum Einsatz, um Spam von Ham zu unterscheiden. Aus Datenschutzgründen erhält der zentrale Filter nur Prüfsummen über die Nachrichten. Der Prüfsummenalgorithmus muss gegen kleine Änderungen der Mail aber unempfindlich sein, denn Spammer kennen das Verfahren und ergänzen Mails mit individuellem Zufallstext. Greylisting verzögert die Annahme der Mail, indem der Empfänger zunächst einen temporären Fehler im SMTP-Dialog vortäuscht. Bis dahin hat der Sender bereits seine IP, Absenderadresse und die Zieladresse übermittelt. Diese Informationen speichert der Mailserver. Beim nächsten Verbindungsversuch akzeptiert er die Mail dann. Die Idee: Die Würmer der Spammer haben keine vollständigen SMTP-Engines und halten den temporären Fehler für einen Dauerfehler. Daher geben sie es auf, die Nachricht zuzustellen. Auch hier haben die Spammer nach zwei Jahren das System verstanden, zum Beispiel berichtet Charly Kühnast im Linux-Magazin [7], dass Spammer sein Greylisting munter unterlaufen. SPF, Caller-ID, DK: Sender Permitted From oder Sender Policy Framework sowie Caller-ID oder auch Yahoos Domain-Key hinterlegen im DNS, von welchen Rechnern E-Mails für eine bestimmte Domain stammen dürfen. Neben der teilweise unklaren Patentlage haben diese Verfahren einen gravierenden Nachteil, denn mittlerweile wird ein Großteil der Spam-Mails von Rechnern verschickt, die im DNS als zuständig für die Domain eingetragen sind. Domains zu registrieren und DNS-Einträge zu erzeugen ist für Spammer sowieso Tagesgeschäft, schließlich müssen sie URL-Filtern und Abuse-Beschwerden ausweichen.

In Spammer-Kreisen ist es üblich, dazu bei großen Mailprovidern Accounts zu registrieren und die eigenen Müllbotschaften zunächst dorthin zuzustellen. Das zeigt, ob der gewählte Text den Filter überwindet. Manche Bulkmail-Programme integrieren sogar Spamassassin [4] und testen und bewerten die Massenmails noch vor dem Versand mit den Regeln dieses Antispam-Programms. Klar dass die Sender ihre Texte so lange variieren, bis sie an den marktgängigen Filtern vorbeischlüpfen.

Damit sagt die Erkennungsrate für alten Spam wenig über die Qualität der Heuristiken des Filters aus. Aus diesen Daten ist die Leistung mit täglich frischem Spam kaum vorhersagbar. Damit stand für den Test fest, dass die Filter nur mit aktuellem Spam arbeiten dürfen, der frisch aus dem Internet eintrifft. Einfach einen bestehenden Mailaccount umzuleiten genügt nicht, weil der Spam-Kampf bereits im SMTP-Dialog beginnt. Das bedeutet, dass jedes Testsystem eine eigene Domäne mit eigenem MX-Eintrag im DNS erfordert (siehe Kasten “Mail Exchange im DNS”).

Mail Exchange im DNS

Ein Mail Transfer Agent (MTA) ermittelt zunächst die IP, an die er eine E-Mail zustellen darf [5]. Er extrahiert dazu den Domänennamen aus der Mailadresse und schickt eine MX-Query (Mail Exchange) an seinen DNS-Server. Der antwortet mit der IP-Adresse des zuständigen Mailservers. Um für Ausfallsicherheit zu sorgen, darf jede Domäne mehrere MX-Einträge angeben. Die dürfen unterschiedlich priorisiert sein, wobei ein niedrigerer numerischer Wert zu höherer Priorität führt. Der sendende MTA verbindet sich zum MX höchster Priorität und versucht dort seine Mail abzuliefern. Ist er erfolglos, wendet er sich an den nächsten in der Rangfolge. Die sekundären Mailserver versuchen daraufhin, intern dem jeweils höchst priorisierten Kollegen alle Mails weiterzureichen. In der Praxis steht der MX höchster Priorität meist auf dem Firmengelände, die lokale IT-Abteilung betreut ihn. Dort sind häufig strenge Spamfilter aktiviert. Meist gehören ein zweiter und eventuelle weitere MX-Server dem Leitungsprovider. Der hat kaum Filter installiert und weiß eigentlich nur, dass er für eine bestimmte Domain zuständig ist. Für den Spammer ist dieses Ziel viel lohnender. Liefert er hier seinen Werbemüll ein, hat er ihn erfolgreich an den Mann gebracht – oder zumindest schon einige Filter umgangen, zum Beispiel IP-basierte Blacklists. Die sehen als Quelle den legitimierten, niedriger priorisierten MX des Providers statt den wahren Übeltäter. Eine weitere Methode, Ausfallsicherheit und Load Balancing zu erreichen, nutzt aus, dass MX-Einträge nur Rechnernamen nennen. Einem Rechnernamen im DNS dürfen mehrere A-Records zugeordnet sein, also Einträge, die den Namen in IP-Adressen auflösen. Die Einträge kommen abwechselnd zum Zuge, so entsteht ein simples Load Balancing, auch DNS-Round-Robin genannt.

Vier Monate frischer Spam

Als Nächstes galt es, bei jeder Domäne für kontinuierliches Spam-Aufkommen auf mehreren Adressen zu sorgen. Die Tester meldeten zehn Domains an und veröffentlichten pro Domain je eine Webseite, die je vier Mailadressen bewarb. Die Domains waren ein halbes Jahr vor dem eigentlichen Test aktiv und intensiv von anderen Seiten aus verlinkt. Gezielt gewählte Schlagwörter machten es den Harvestern besonders schmackhaft, die Seiten zu beglücken. Nach einem halben Jahr waren die Domains und die beiden Webmailer-Accounts bestens aufgepäppelt, sie empfingen ausreichend viel und gleichmäßig Spam. Wie schnell das gehen kann, beschreibt der Artikel zur Spam-Prävention in diesem Heft. Während der heißen Phase des Tests erhielt jede Opferadresse täglich zwischen 50 und 100 taufrische Spam-Mails.

Als Mailserver für die Domains lief ein Rechner, der auf zehn IP-Adressen hörte. Jede der zehn IPs war als MX für jeweils eine der angemeldeten Domains eingetragen. Sendmail nahm die Mails entgegen. Nachrichten von GMX und Web.de holte der Agent via Fetchmail und reichte sie anschließend direkt unter Nennung der Envelope-to-Adresse an ein kleines Perl-Skript weiter, das die Mails in Body und Header zerlegte und in eine Datenbank eintrug.

Als dann die Appliances kamen – manche mit Techniker, manche einfach per Post (siehe auch den Einführungsartikel) -, bekam jedes Gerät eine Domain zugewiesen und übernahm die IP des MX (Abbildung 2). Damit war keine DNS-Änderung notwendig, die vielleicht die Testergebnisse verfälscht hätte. So behauptet zum Beispiel Sponts-Box-Hersteller IKU, dass weniger Spam ankäme, wenn man nur ausreichend oft und ausdauernd »User unkown« zurücksendet (siehe den Artikel über Spam-Prävention in diesem Heft).

Bei den Service-Anbietern Expurgate und Spam Stops Here ging es nicht ohne Änderung des MX-Eintrags. Der Dienst dieser Firmen muss als MX für die eigene Domain eingetragen sein. Expurgate und Spam Stops Here analysieren und filtern die Mails und reichen sie durch zum Ziel-Mailserver. Das Verfahren verlagert den kompletten Wartungsaufwand des Spamfilters hin zum Anbieter. Allerdings ist ein kräftiger Vertrauensbonus notwendig, um alle Mails einem externen Unternehmen zu überlassen.

SMTP-Proxy

Die getesteten Appliances funktionieren wie ein eingehender SMTP-Proxy: Der externe Mailserver kontaktiert die Appliance via SMTP und versucht die Mail einzuliefern. Hat die Mail erfolgreich die Filter passiert, reicht die Appliance sie via SMTP durch zum lokalen Mailserver. Für den hat sich somit nichts geändert, auch für die Nutzer im internen Netz nicht. Sie rufen ihre Mails weiterhin über diesen Server ab oder lesen dort lokal ihre Mbox.

Bei GMX und Web.de schalteten die Tester am Stichtag die Spamfilter ein. Die dort registrierten E-Mail-Adressen waren mit auf den Lockseiten beworben und erhielten folglich die gleiche Menge und Qualität von Spam. Hart war das Testverfahren in Bezug auf Updates: Virensignatur- und Spamsignatur-Updates waren zugelassen, Software-Updates wenn möglich nicht. Auch wenn Letzteres immer ein Streitpunkt bei Tests ist, sollten die Kandidaten über den Testzeitraum einen definierten Stand aufweisen.

Der Test hat die Güte der Virenfilter in den Appliances absichtlich nicht überprüft. Das hätte wenig ausgesagt, da die Erkennungsrate durch den jeweils eingesetzten Virenscanner vorgegeben ist. Allerdings reduziert auch ein Virenscanner das Aufkommen an unerwünschter Mail, weil er die erkannten Würmer aus der Mailbox holt. Bei einigen Produkten ist es sogar möglich, mehrere Scanner gleichzeitig zu aktivieren, um ihre spezifischen Unzulänglichkeiten zu kompensieren ? natürlich gegen zusätzliche Lizenzkosten.

Spam-Qualität

Weil nicht alle eingeladenen Anbieter Testgeräte zur Verfügung stellten, blieben drei Test-Domains ungenutzt – geplant war nur eine, die einen Gefiltert/Ungefiltert-Vergleichswert liefern sollte. Der vermeintliche Nachteil entpuppte sich als Vorteil: So war es möglich, einen stabileren Mittelwert des echten Spam-Aufkommens zu bestimmen.

Da alle E-Mail-Adressen nur Spammern bekannt waren, trafen zunächst ausschließlich Spam-Mails ein. Das taugt bestens, um die Erkennungsrate der Filter zu bestimmen. Allerdings verrät es nicht, wie hoch die False-Positives-Raten sind, die ein wesentliches Kriterium für die Güte von Spamfiltern sind. Eine einzige Ham-Mail, die der Filter versehentlich als Spam klassifiziert, kann mehr Schaden anrichten, als zehn Spam-Mails, die durchschlüpfen.

Um auch die False-Positives-Rate zu ermitteln, haben die Tester gegen Ende ihre Prüflinge mit echten Mails bombardiert. Dazu stellten zahlreiche Nutzer ihre privaten Inboxen zur Verfügung, sodass ein guter Querschnitt von echtem Ham zustande kam. Die User leiteten entweder E-Mails aus ihren Mailboxen weiter, darunter auch Newsletter, oder schrieben eigene Test-E-Mails, teilweise sogar in Fremdsprachen. So fanden sich neben zahlreichen englischen Mails auch einige in Bulgarisch und Türkisch. Für Filter, die versuchen eine Sprache zu erkennen, ist das ein Graus.

Am Ende der Testphase kam noch ein Lasttest auf die Systeme zu. Für jeweils einige Tage lenkte der MX-Eintrag zweier um Größenordnungen stärker bespammter Domains ihren Müll auf jeweils eine Appliance. Die musste dann etwa 35 000 E-Mails pro Tag bewältigen.

Symantec Mail Security 8260

Bei allen Hersteller stand ein Produkt aus dem Sortiment auf der Testliste, das sich für kleine bis mittlere Unternehmen eignet. Symantec schickte dennoch sein Top-Gerät, die 8260. Diese Maschine ist für Unternehmen ab 1000 Mailkonten konzipiert und soll bis zu 10 000 Accounts verwalten können. Für noch höhere Anforderungen ist das System Cluster-fähig. Bei der Hardware handelt es sich um einen Dell-Poweredge-Server für das 19-Zoll-Rack, dem Symantec eine individuelle Frontplatte spendiert.

In dem Flaggschiff arbeiten zwei Xeon-Prozessoren mit je 3 GHz. 2 GByte RAM und zwei Raid-1-gespiegelte 73-GByte-Platten sorgen für die notwendige Speicherkapazität. Den professionellen Anspruch unterstreicht das doppelt ausgelegte Netzteil. Als Betriebssystem ist Red Hat Enterprise Linux 3.0 installiert. Ein Root-Login ist nicht vorgesehen. Laut Symantec kommt auf dem System ein gehärtetes Postfix zum Einsatz.

Zur Konfiguration dient eine Weboberfläche über HTTPS auf Port 41433, die erste Konfiguration erfolgt wahlweise über eine serielle Konsole oder direkt am Gerät per Tastatur und Monitor. Dieser Schritt legt aber nur den Hostnamen und die Netzwerkeinstellungen fest. Über die Weboberfläche folgen der Lizenzschlüssel und die Filterrichtung ? eingehend oder ein- und ausgehend. Der ?mitgelieferte? Symantec-Techniker (siehe Einführungsartikel) griff gleich beherzt zu und zauberte mit der Tastenkombination [Shift] +[A] bei den »Settings« ein geheimes Menü hervor (Abbildung 3).

Dort aktivierte der Techniker für den Antivirenfilter die Einstellung »Rapid Release« – das sei Standard und würde bei anderen Kunden auch so gemacht. Da die Virenfilter-Funktion im Test nicht interessierte, durfte die Einstellung so bleiben. Das geheime Menü bietet weitere interessante Einstellungen. So lässt sich die SMTP-Begrüßung nach Wunsch verändern, beispielsweise um bei simplen Probes eines externen Angreifers die Appliance zu tarnen.

Der Spamfilter basiert auf Brightmail Antispam, dem Produkt einer Firma, die Symantec im Juni 2004 gekauft hat. Es nutzt unter anderem SPF, diverse Black- und Whitelists, URL-Filter und Caller-ID zur Erkennung (siehe Kasten “Filtertechniken”). Hinzu kommen eine Mustererkennung und eine Hash-basierte vergleichende Erkennung.

Jeder einzelne Filter liefert einen Wert zurück, der die Spam-Wahrscheinlichkeit bestimmt. Die Werte gehen mit einer vorgegebenen und nicht veränderbaren Gewichtung in einen Gesamt-Spamscore ein. Auch lassen sich die einzelnen Filtertechniken nicht getrennt deaktivieren. Es ist aber immerhin möglich, für auf einem LDAP-Server definierte Nutzergruppen individuelle Grenzwerte für den Spamscore festzulegen.

Im Test erreichte die Symantec-Lösung das Ideal von null False-Positives, erkannte aber weniger als 90 Prozent der Spam-Mails und ließ damit über 10 Prozent des Mülls durch (Abbildung 4).

Sicherheit bei Appliances

Alle im Test vertretenen Appliances führen den Begriff Sicherheit im Namen. Allerdings brachte manches Gerät die Tester ins Grübeln: Mal findet die Kommunikation zwischen Client und Server über offenes HTTP statt, ein andermal ist die Weboberfläche eine Sammlung spannender Javascript-Häppchen. Früher war eine Regel für sichere Systeme, auf ihnen nur das wirklich Notwendige laufen zu lassen und die Software möglichst simpel zu halten. Spamfilter an sich sind schon sehr komplexe Software. Sie noch mit einem Webinterface auszustatten, das mit Spielereien und Schnickschnack aufwartet, erhöht vor allem die Anfälligkeit. Jede Zeile Code steigert die Wahrscheinlichkeit für einen Bug und damit auch für ein Sicherheitsloch. Der bislang unerfüllte Wunsch der Tester: Die Konfiguration sollte wahlweise auch über eine lokale Konsole möglich und der Webserver sowie alle anderen Remote-Dienste sollten abschaltbar sein. Dann kann der Kunde zwischen dem Weniger an Sicherheitsrisiken und dem (angeblichen) Weniger an Komfort frei entscheiden. Für wie unmündig mancher Hersteller seine Anwender hält, zeigt sich darin, dass er es ihnen nicht einmal ermöglicht, die Spamfilter-Regeln selbst zu justieren.

McAfee Secure Content Appliance 3200

McAfee war auch bei Dell einkaufen und schickte den kleinen Bruder von Symantecs Appliance: Ein 2,8-GHz-Xeon und 1 GByte RAM müssen bei McAfee für bis zu 1000 Benutzer ausreichen. Als Platten-Sub-system kommt ein SCSI-Raid-1-Array zum Einsatz. Auch McAfee setzt auf Red Hat Linux, jedoch packt man dort noch einiges mehr an Software auf die Appliance: Das Testgerät hatte unter anderem ein Secure Web Gateway installiert, das auch einzeln erhältlich ist, aber beim Test unberücksichtigt blieb.

Auch bei der McAfee-Appliance ist die Erstkonfiguration über eine lokale Konsole möglich. Zudem klappt dieser Schritt hier bereits per Weboberfläche, wenn ein Client via Cross-over-Kabel angeschlossen ist. HTTPS dient dabei nur als Transportprotokoll, auf Client-Seite muss entweder ein Java-Client-Programm installiert sein oder der Browser startet ein Java-Applet. Das benötigt etwas mehr Zeit als die Darstellung einer normalen HTML-Seite.

Insgesamt wirkte die zwar klar strukturierte Java-Oberfläche eher träge und reagierte subjektiv am langsamsten auf Nutzerinteraktion. Auch das Client-Programm brachte nur wenig Besserung.

Umständliche Aktivierung

Um den Spamkiller von McAfee zu betreiben, ist zunächst eine Aktivierungs-CD notwendig. Dazu legt der Hersteller ein nur wenige MByte großes ISO-Image auf die Firmen-Webseite. Das muss der Kunde herunterladen, brennen und dann über das CD-ROM-Laufwerk der Appliance einlesen. Statt dieses umständlichen und umweltschädlichen Verfahrens wäre es einfacher und einleuchtender, das ISO-Image direkt per Webinterface auf die Appliance hochladen zu können. Oder das Gerät selbst Kontakt zur McAfee-Site aufnehmen zu lassen.

Der Hersteller nutzt – wie fast alle im Test – eine Mischung mehrerer Filtersysteme. So kommen neben Spamassassin unter anderem ein Bayes-Filter, Black- und Whitelists und Sender-Authentication zum Einsatz. Anders als Symantec erlaubt McAfee eine sehr feine Konfiguration des Filters (Abbildung 5). Für den Test blieb die Standardeinstellung erhalten, dennoch erreichte das System eine Erkennungsrate von beachtlichen 97 Prozent. Leider geht dieses Resultat auf Kosten der False-Positives-Rate, die bei 7 Prozent lag. Immerhin stellt das Gerät Spam-Mails in einen Quarantäne-Ordner, auf den die Empfänger auch zugreifen dürfen.

Ironport C10 Email Security

Im Gehäuse-Einerlei der großen Anbieter sticht Ironport positiv heraus: Das silberne 19-Zoll-1-HE-Gehäuse sieht elegant aus und ist konsequent als Appliance konzipiert. Sogar den VGA-Ausgang hat der Hersteller mit einer Abdeckung verschlossen, damit der neugierige Administrator auch wirklich die Finger von der Box lässt (Abbildung 6).

Auch innen findet sich eigenständiges Design: Async OS nennt sich das Betriebssystem, unter dem die Appliance läuft. Es handelt sich um ein auf die Anforderungen von Mailfiltern optimiertes Linux, das nach Ironport-Angaben deutlich effizienter arbeitet als ein normales. Ansonsten verrät der Hersteller noch, dass zwei 40-GByte-Platten in einem Raid-1-Array werkeln. Statt Prozessorleistung oder Arbeitsspeicher zu veröffentlichen, weist Ironport darauf hin, dass die C10 bis zu 1000 Mailnutzer vor Spam schützt. Damit liegt sie in der gleichen Leistungsklasse wie die McAfee-Appliance.

Ironport bietet zwei Spamfilter zur Auswahl: Den von Symantec bekannten Brightmail sowie ein hauseigenes Produkt. Im Test lief die zweite Variante. Dieser Filter überzeugte durch vielfältige, genaue Einstellungen, die der Admin in einem übersichtlichen Web-basierten Menü vornimmt. Die Möglichkeit, die Weboberfläche auch per HTTP und nicht nur per HTTPS zu erreichen, trübt etwas das schöne Bild.

Auch dieses Produkt musste mit seinen Standardeinstellungen Vorlieb nehmen. Dabei nutzt Ironport neben den typischen Filtern unter anderem auch einen Bildfilter sowie ein eigenes System namens Senderbase. Es protokolliert laut Hersteller einen Großteil des weltweiten Mailverkehrs und sei damit in der Lage, neue Spam-Wellen und Malware-Ausbrüche schnell zu erkennen.

Im Test war die Ham-Erkennung zuverlässig – keine False-Positives. Unter allen Systemen, deren False-Positives-Rate auf dem Idealwert null blieb, kam Ironport auf die beste Spam-Erkennungsrate (nur 7 Prozent des Spam schlüpft durch).

Canit Anti-Spam

Die von Roaring Penguin entwickelte und von Pyramid gefertigte Antispam-Appliance Canit wird in einem 1-HE-19-Zoll-Gehäuse halber Tiefe geliefert. Darin stecken ein 3-GHz-Pentium-4-Prozessor, 1 GByte RAM und eine 80-GByte-IDE-Festplatte. Der Hersteller bezeichnet das unter Debian 3.1 laufende System als die “führende Antispam-Lösung”. Zumindest die nackten Messwerte lassen an der Aussage Zweifel aufkommen: Die Canit-Appliance hat die zweithöchste False-Positives-Rate, und zwar ohne dafür mit einer hohen Spam-Erkennungsrate zu glänzen – sie bleibt in der hinteren Hälfte des Testfelds.

Allerdings überrascht das System mit einem sinnvollen Ansatz: Jeder Nutzer darf seine Filterregeln selbst festlegen, die der Administrator eventuell vorkonfiguriert. Dazu ist im Lieferumfang ein eigenes Handbuch für die Endnutzer enthalten. Fraglich ist zwar, ob die wirklich das Dokument vollständig lesen und verstehen, setzt es doch gewisse Vorkenntnisse voraus, aber wer seinen Spamschutz lieber selbst verwaltet, hat hier die technische Möglichkeit.

Dummerweise zeigt sich die Oberfläche wenig übersichtlich und die Mühen einer deutschen Übersetzung der kanadischen Software sind in etlichen Menüs noch deutlich zu erkennen (Abbildung 7). Doch wer sich mit der eigenwilligen Benutzerschnittstelle anfreundet, der findet in Canit Einstellmöglichkeiten und Optionen, deren Vielzahl durchaus hoffen lässt, dass die schlechten Erkennungsraten durch Parameter-Tuning noch zu verbessern sind.

Nicht reif

Auch an anderen Stellen wirkt das System noch unausgereift. Im Setup-Modus, der einen angeschlossenen Monitor und eine Tastatur erfordert, gibt es zum Beispiel eine Option, die Passwörter von Root und eines Users namens »setup« zu ändern. Ersteres ist über das Menü möglich, Zweiteres erfordert einen Login als Root auf der Konsole und manuelles »passwd setup«.

Ärgerlich ist auch, dass die Weboberfläche der Box standardmäßig nur über HTTP arbeitet. Zu HTTPS schreibt das Handbuch: “Setting this up is beyond the scope of this manual, but CanIT-Pro should operate with no changes over https.” Zumindest der zweite Teil der Aussage traf auch zu.

IKU Sponts-Box

Die IKUs Sponts-Appliance war bereits vor zwei Jahren zum Test in der Linux-Magazin-Redaktion [6]. Laut Beschreibung auf der Webseite hätte diesmal entweder ein Mini-ITX-Gehäuse oder ein 19-Zoll-Racksystem die Redaktion erreichen sollen. Es traf jedoch ein Mini-ATX-System ein. Immerhin scheinen die restlichen Komponenten dem Sponts-Standard zu entsprechen.

Der große Vorteil des Systems: Es enthält außer der 40-GByte-IDE-Platte keine mechanisch beanspruchten Bauteile. Das sollte eine längere Lebenserwartung bedeuten. Als Leistungsschranke für das Debian-basierte System gibt IKU 550 000 E-Mails pro Tag an, das dürfte etwa den 1000 Nutzern von McAfee und Ironport entsprechen.

Zum Erstsetup schlossen die Tester eine Tastatur und einen Monitor an. Auf der Konsole erwartet das System die Netzwerkeinstellungen. Beim nächsten Booten war die Tastatur jedoch wieder abgestöpselt – und prompt blieb der Vorgang hängen. Im Bios war eingestellt, bei einer fehlenden Tastatur nicht zu starten. Zum Glück ließ sich diese lästige Panne schnell beheben.

Die Benutzeroberfläche des Systems ist sinnvoll strukturiert, die eingebaute Soforthilfe tatsächlich hilfreich. Nützlich ist auch die Möglichkeit, E-Mails auf der Sponts-Box zwischenzuspeichern und bei Bedarf per »Replay«-Funktion erneut an den internen Mailserver zu senden. Auch ein POP3-Server läuft auf der Sponts-Box, sodass bei einem Ausfall des internen Servers E-Mail weiterhin nutzbar bleibt. Diese umsichtige Funktion ist auch den anderen Appliances sehr zu empfehlen.

Präventionsversuch

Die Sponts-Box nutzt zwei besondere Verfahren zur Spam-Bekämpfung: den Sponts-Effekt, auf den der Spam-Prävention-Artikel in diesem Heft näher eingeht, sowie eine Timing-Analyse des SMTP-Versands. Darüber hinaus sind alle Standard-Filtertechniken integriert, sie sind auch individuell zu gewichten und anzupassen.

Im Test war die Sponts-Box so konfiguriert, dass sie bei Spam »User unkown« zurücksendet. Damit sah der dahinter liegende Mailserver keine Spam-Mails mehr – bis auf jene, die sich am Filter vorbeischummeln konnten. Aus deren Anzahl lässt sich jedoch keine Erkennungsrate ermitteln.

Auch die Logfiles der Sponts-Box liefern keinen brauchbaren Wert. Sie protokollieren zwar jeden Kontaktversuch, aber Spammer bauen Verbindungen auch nur zum Testen der Mailadressen auf. In Abbildung 4 ist daher die Erkennungsrate aus den Vergleichswerten der anderen Domänen hochgerechnet. Bei den definierten Ham-Tests stellte sich heraus, dass die Sponts-Box in der Grundeinstellung deutlich zu aggressiv arbeitet. Mit ihrer False-Positives-Rate von 18 Prozent bildet sie das Schlusslicht im Testfeld.

Expurgate

Statt eine eigene Appliance zu kaufen, regelmäßig zu aktualisieren und selbst zu warten, bietet es sich an, die komplette Arbeit an einen Dienstleister zu delegieren. Gerade für kleinere Unternehmen sind Firmen wie die Eleven GmbH eine interessante Alternative. Mit ihrem Dienst Expurgate stellt sie einen externen Spamfilter bereit. Der Kunde muss nur den MX-Eintrag seiner Domain auf den Expurgate-Mailserver umstellen. Dazu legt er vier MX-Einträge gleicher Priorität an. Jeder dieser Rechnernamen löst auf mehrere IP-Adressen in verschiedenen Subnetzen auf, implementiert also Ausfallsicherheit über ein DNS-Round-Robin-Load-Balancing.

Schutz vor Ausfällen

Die Ausfallsicherheit ist ein deutlicher Pluspunkt im Vergleich zu den Appliance-Lösungen. Letztere sind zudem teils schlecht mit einem MX niedrigerer Priorität zu kombinieren: Die Sponts-Technik, »User unkown« zu senden, würde zum Beispiel zu Bounce-Spam führen, wenn nur der eigentliche Mailserver durch die Appliance geschützt ist. Viele Spammer laden ihren Müll aber gezielt beim niedrigst prioren MX ab, bei dem typischerweise kein Spamschutz aktiviert ist (zu den Hintergründen siehe Kasten “Mail Exchange im DNS”).

Die Spamfilter von Eleven profitieren davon, dass sie zahlreiche Mailserver schützen. Über alle eingehenden E-Mails berechnen sie Prüfsummen, anhand derer sie Nachrichten vergleichen. Tritt eine Prüfsumme überdurchschnittlich häufig auf, ist es wahrscheinlich, dass sich dahinter Spam verbirgt. Dieser Ansatz arbeitet ähnlich wie das Senderbase-Verfahren von Ironport, spart sich aber Update-Zyklen.

Gefährdete Spezies

Expurgate prüft nach mehreren Kriterien, um zu verhindern, dass der Filter legitime Newsletter fälschlich als Spam klassifiziert. Ein Kriterium ist der Ausbreitungsweg: Spam kommt typischerweise von mehreren Rechnern aus einem Bot-Netz, Newsletter dagegen von nur einer Quelle. Außerdem nutzt Expurgate so genannte Spamtrap-Adressen. Das sind E-Mail-Adressen, die nur auf Webseiten kommuniziert sind – ganz so wie die in dem vorliegenden Test benutzten Adressen. Erhalten die Spamtraps eine Mail, dann ist diese mit sehr hoher Wahrscheinlichkeit Spam.

Über einen zusätzlichen Feedback-Kanal können Nutzer Mails auch selbstständig als Spam oder Ham einstufen. Um Missbrauch und Fehler zu vermeiden, prüft laut Eleven ein eigener Mitarbeiter die Rückläufe, ob es sich tatsächlich um Spam oder Ham handelt. Offenbar senden manche Nutzer sogar als Spam markierte Phishing-Mails mit dem Hinweis zurück, sie seien Ham – es handle sich um eine wichtige Nachricht der Bank.

Kaum Einfluss

Leider lässt sich der Filter von Expurgate kaum konfigurieren. Der Admin darf gerade mal E-Mail-Adressen komplett von der Filterung ausnehmen und die Aktionen festlegen, wenn eine E-Mail in eine bestimmte Spam-Kategorie fällt. Hier wären mehr individuelle Einstellmöglichkeiten wünschenswert. Trotzdem erreichte Expurgate die zweithöchste Spam-Erkennungsrate im Test, allerdings um den vergleichsweise geringen Preis von 0,4 Prozent False-Positives.

Spam Stops Here

Einen ähnlichen Ansatz verfolgt die kanadische Firma Greenview Data mit ihrem Produkt Spam Stops Here. Doch sind hier wesentlich umfangreichere Konfigurationsmöglichkeiten vorgesehen. So lassen sich zum Beispiel einzelne Filtermodule gezielt aktivieren und deaktivieren oder auch ganze Mailboxen von der Überprüfung ausnehmen. Überraschenderweise ist die Erkennungsrate für Spam in der Grundkonfiguration sehr niedrig: Mit 77,8 Prozent fällt Spam Stops Here auf den hintersten Platz im Test. Gut dagegen ist, dass das Produkt keine False-Positives liefert.

GMX und Web.de

Als Vergleich hat im Test interessiert, wie gut Spamfilter für den Hausgebrauch abschneiden. Stellvertretend für viele Webmailer gingen GMX und Web.de ins Rennen. Web.de bietet im gebührenpflichtigen Club einen Drei-Wege-Spamfilter. Der teilt Nachrichten ein in “sicher Spam”, “unklar” und “sicher Ham” (Abbildung 8). Dieses Verfahren wird der schwierigen Unterscheidung von Spam und Ham deutlich besser gerecht als das reine Schwarz-Weiß-Denken der Konkurrenz. Für “sicher Ham” darf der Anwender zusätzlich White- und Blacklists konfigurieren.

Web.de hat im Test keine erwünschte Mail als Spam markiert und nur vier als unklar. Genauso ist keine Spam-Mail in die echte Inbox gelangt und erstaunlicherweise keine als unsicher eingestuft worden. Diese Art der Sortierung macht es schwierig, eine Erkennungsrate zu definieren. Die Drei-Klassen-Einteilung schafft für den Nutzer aber Transparenz und macht bewusst, dass Spamfilter keine exakte Trennung durchführen können. Web.de greift dabei auf die Filtertechnik von Expurgate zurück.

GMX arbeitet dagegen im herkömmlichen Schwarz-Weiß-Raster und liegt bei einer recht guten Spam-Erkennung von 92,9 Prozent. Diesen Wert überschattet aber die mit 17,5 Prozent unerträglich hohe False-Positives-Rate.

Ausgleichsgeschäft

Im Grunde überraschen die Testergebnisse in Abbildung 4 kaum: Je höher die Spam-Erkennungsrate, desto höher ist in der Regel auch die Rate der False-Positives. Für hohe Erkennungsraten (mit wenig durchgeschlüpften Spam-Mails) sind aggressivere Filter nötig, die gelegentlich auch Ham-Mails aussortieren.

Interessant ist, wie stark vergleichende Filter (etwa Senderbase und Expurgate) die Erkennungsraten verbessern, ohne die False-Positives deutlich in die Höhe zu treiben. Obwohl beide Werte wegen der Zufälligkeit von Spam und der begrenzten Testdauer systembedingt Näherungen bleiben, geben sie gute Hinweise zur Genauigkeit der Filter.

Unterstützung

Das aufwändige Testverfahren war nur dank der Unterstützung der Universität der Bundeswehr München möglich. Deren Institut für Informationstechnische Systeme stellte den Mailserver, die Netzwerkanbindung und den Rackspace für die Appliances zur Verfügung und registrierte die Testdomains. Oberleutnant Carsten Schulz betreute im Rahmen seiner Diplomarbeit [8] die Testaufbauten und führte die Messungen durch. Dank gilt auch Daniel Rehbein, der zwei stark bespammte Domains für die Tests bereitstellte.

Die deutlich besseren Ergebnisse der vergleichenden Filter liegen vermutlich auch daran, dass während der Testphase eine neue Spam-Art auftrat: Image-Spam verbirgt die Nachricht in beliebig zerteilten Bildern. Hier mussten die Filter erst dazulernen. Regelbasierte Verfahren sind in dieser Situation gegenüber vergleichenden im Nachteil.

Bleibt die bei vergleichenden Filtern latente Gefahr, dass sie Mailinglisten mit einer großen Empfängerzahl als Spam klassifizieren. Dagegen hilft Whitelisting der seriösen Mailinglisten, was allerdings aufgrund der großen Zahl nie vollständig gelingt. Die Anbieter nutzen daher zusätzliche Filtertechniken, um das Risiko einer fehlerhaften Erkennung weiter zu senken.

Koppelt ein Hersteller aggressive Filter mit einer automatischen Fehlermeldung im SMTP-Dialog, so wie es Sponts macht, entsteht eine fatale Mischung. Die Annahme, dass der Absender Mailer-Daemon-Mails öffnet, liest und versteht, ist typisches Techniker-Denken: Anwender schimpfen, dass sie Spam von Mailer-Daemon bekommen. Sollten sie die Mail doch einmal lesen, finden sie kryptische Zeilen, die an Unverständlichkeit kaum zu übertreffen sind. Es bleibt damit die Forderung: Ein Spamfilter sollte markieren, aber nicht aussortieren – dazu sind sie zu ungenau.

Drei Sieger

Besonders schädlich sind in der Praxis False-Positives: Um einzelne Ham-Mails aus dem Meer an Spam herauszuangeln, muss der Benutzer doch wieder jede Mail (oder wenigstens deren Absender und Subject) sichten und selbst entscheiden. Genau das sollte ihm der Spamfilter abnehmen. Das wichtigste Kriterium für oder gegen ein Antispam-Produkt muss daher seine False-Positives-Rate sein. Nimmt man diese als K.-o.-Kriterium und erwartet eine Erkennungsrate über 80 Prozent, dann bleiben nur noch Expurgate, Symantec und Ironport als empfehlenswerte Produkte übrig.

Expurgate lässt sich dank seines ASP-Ansatzes (Application Service Provider) nur schlecht mit den beiden Appliances vergleichen. Leider waren die Konfigurationsmöglichkeiten mehr als spartanisch. In puncto Filterqualität und beim Bedienkomfort liegt die Ironport C10 vor der Symantec-Lösung. Allerdings ist der Qualitätsunterschied des Filters klein (Symantec: 11 Prozent, Ironport: 7 Prozent Spam übersehen), beim nächsten Update könnte Symantec schon wieder aufholen. Aus Sicht des passionierten Linux-Anwenders bleibt festzuhalten: Alle getesteten Filter basierten auf einem Linux-System. (fjl)

Infos

[1] Spam-o-Meter: [http://www.spam-o-meter.com] [2] Heise Online, ?T-Online verzeichnet eine Milliarde Spam-Mails pro Tag?: [http://www.heise.de/newsticker/meldung/72324] [3] Spam-Archive: [http://spamlinks.net/filter-archives.htm] [4] Spamassassin: [http://spamassassin.apache.org] [5] RFC 0974, ?Mail Routing and DNS?: [http://www.ietf.org/rfc/rfc0974.txt] [6] Tobias Eggendorfer, ?Spezialfilter ? Antispam-Appliance mit Langzeitwirkung?: Linux-Magazin 09/04, S. 54 [7] Charly Kühnast, ?Auftragskiller ? Spam-Botnetz überfällt Charly?: Linux-Magazin 07/06, S. 68 [8] Carsten Schulz, ?Erstellen eines Konzepts sowie Durchführung und Auswertung eines Tests zur Bewertung unterschiedlicher Spam-Filter-Mechanismen bezüglich ihrer Langzeiteffekte?: Diplomarbeit, Universität der Bundeswehr München, Fakultät für Informatik, Neubiberg, 2006

Der Autor

Tobias Eggendorfer [http://www.eggendorfer.info] ist in München als freiberuflicher IT-Berater und Dozent tätig. Er ärgert sich seit Jahren über Spam. Zurzeit empfängt er auf seinen zahlreichen E-Mail-Adressen im Schnitt täglich 3000 unerwünschte Mails. Darum forscht er nach kreativen Lösungen, die Spammern das Leben schwer machen – und ihm leichter.