© misterQM, Photocase.com

Bei IMAP liegen die Mails prinzipbedingt auf dem Server – anders könnten die Anwender ihre Post nicht von verschiedenen Standorten und Geräten aus lesen. Wer Angst vor einem Server-GAU hat oder oft offline arbeitet, braucht ein IMAP-Archivierungstool, das zu finden sich dieser Artikel zur Aufgabe macht.

Ausreden wie “Ich komme gerade nicht an meine Mail, die liegt auf einem anderen Rechner” sind dank IMAP wirkungslos, auch die Alpträume von aufwändigen Mail-Migrationsorgien gehören dank Internet Message Access Protocol der Vergangenheit an. Die meisten Anwender halten damit sämtliche E-Mails auf dem Server selbst vor und greifen von mehreren verschiedenen Clients darauf zu [1]. Das setzt auf der einen Seite ausreichend Speicherplatz voraus, auf der anderen Seite muss sich der Nutzer freilich voll und ganz auf seinen Mailprovider verlassen. Vertrauen ist gut, ein Backup allerdings oft besser – falls der GAU doch einmal eintritt.

Bei der Archivierung von Mails auf IMAP-Servern stehen beispielsweise Offline IMAP [2], Archivemail [3] und Archiveopteryx [4] hilfreich zur Seite. In dieser Ausgabe der “Bitparade” sollten die Programme unter anderem zeigen, wo sie nach dem Download lokal die Daten ablegen, wie sie diese verwalten und ob Benutzer die archivierten Mails nach einer Havarie zurück auf den IMAP-Server exportieren können.

Eine weitere interessante Frage ist außerdem, ob die Tools mit Cron zusammenarbeiten und damit Vorgänge automatisieren können. Alle Kandidaten mussten im Test zusätzlich ihre Kooperation mit den vier Mailclients Mutt [5], Thunderbird [6], Kmail [7] und Evolution [8] unter Beweis stellen.

Offline IMAP

In erster Linie ist dieses Python-Programm dazu gedacht, einen lokalen Spiegel der Nachrichten des IMAP-Servers zu erzeugen und zu verwalten. Es sorgt dafür, dass der Bestand auf beiden Seiten gleich ist – löscht der Nutzer Mails im eigenen Archiv, entfernt Offline IMAP diese auch auf dem Server. Bereits gesetzte Flags (Seen, Deleted und so weiter) bleiben beim Transfer erhalten und sind auch im lokalen Archiv zu finden. Zudem hilft das Tool beim Providerwechsel und erleichtert die Migration eines IMAP-Accounts zu einem neuen Server. Auch dauerhafte Archive erstellt und verwaltet das Tool, doch sind diese Funktionen eher stiefmütterlich implementiert.

Offline IMAP setzt mindestens Python 2.6 voraus. Das Tool nutzt auf dem lokalen Rechner das Maildir-Format. Vor der Inbetriebnahme nimmt der Anwender die Datei »/usr/share/doc/offlineimap/examples/offlineimap.conf« als Vorlage für eine persönliche Konfigurationsdatei, kopiert sie nach »~/.offlineimaprc« und passt diese an eigene Bedürfnisse an. Server, die TLS nutzen, benötigen derzeit noch ein bisschen Nachhilfe. Die Diskussion unter [9] zeigt ein paar Lösungsansätze für mehrere Szenarien.

Soll das Programm auch Mails archivieren, die der Nutzer auf dem Server gelöscht hat, deaktiviert er die Option »expunge« (Listing 1). Die vom Server entfernten Nachrichten bleiben dann im lokalen Archiv liegen, erhalten aber das Flag »deleted« . Übernimmt der Nutzer die Voreinstellung »expunge = yes« , erhält er einen identischen Spiegel seiner Mailbox und Offline IMAP löscht die vom Server entfernten Nachrichten auch aus der lokalen Sammlung.

01 expunge = no
02 subscribedonly = no
03 nametrans = lambda foldername: re.sub('^INBOX\.*', '.', foldername)
04 folderfilter = lambda foldername: foldername not in ['Trash']

Zeile 3 aus Listing 1 sorgt auch dafür, dass die auf dem IMAP-Server angelegten Ordnernamen genauso im lokalen Archiv erscheinen, und Zeile 4 verhindert, dass Offline IMAP auch den Inhalt des Mülleimers oder Spamordners überträgt.

Offline IMAP hat vier Benutzerschnittstellen im Angebot, die der Anwender in der Einrichtungsdatei global oder über »-u« von Hand auswählt. »Curses.Blinkenlights« glänzt durch farbige Meldungen auf der Konsole und ausführliche Berichte. Für Skripte oder in der Crontab empfiehlt sich eher »Noninteractive.Basic« – ein Interface, das nicht auf Benutzereingaben wartet und alle Aktionen protokolliert.

Beim ersten Aufruf (»offlineimap -u Curses.Blinkenlights« ) lädt Offline IMAP alle Mails vom IMAP-Server ins lokale Verzeichnis; danach überträgt das Programm nur noch Veränderungen. Läuft alles nach Plan, ist es sinnvoll, Offline IMAP in Zukunft automatisch über Cron zu steuern:

03 23 * * * /usr/bin/offlineimap -u Noninteractive.Basic -l ~/.offlineimap/log

Dieser Eintrag in der eigenen Crontab ruft das Tool einmal täglich auf den Plan und protokolliert alle Aktionen im angegebenen Log.

Auf gute Zusammenarbeit?

Von den vier getesteten Mailprogrammen konnte nur Mutt überzeugen. Mit Hilfe des Maildir-Minihowto [10] ist der Client schnell für das richtige Mailboxformat eingerichtet. Nach dem Start zeigt Mutt die Mails der Inbox an. Über die Taste [Y] blendet der Nutzer die Übersicht der ursprünglichen IMAP-Ordnerstruktur ein (Abbildung 1). Mutt behandelt das Archiv wie eine reguläre Mailbox; alle Features und Funktionen des Mailclients stehen daher wie gewohnt zur Verfügung. Die Option »set delete = no« in der Einrichtungsdatei »~/.muttrc« verhindert, dass Mutt die mit dem »Delete« -Flag versehenen Mails löscht.

Abbildung 1: Mutt zeigt eine Übersicht der mit Offline IMAP importierten IMAP-Ordner.

Einziges Manko des Konsolenmailers: Er legt keinen Index der Nachrichten an, wie es die grafischen E-Mail-Programme tun. Das Mutt-Wiki stellt externe Tools wie Mairix, Nmzmail oder Mu [11] vor, die diese Aufgabe übernehmen. Für Read-only-Archive empfiehlt sich außerdem das Indizieren- und Suchen-Tool Notmuch [12]. Auch Evolution unterstützt das Maildir-Format, bildet die ursprüngliche IMAP-Ordnerstruktur korrekt ab (Abbildung 2) und belässt sie im Archivverzeichnis.

Abbildung 2: Evolution zeigt die Inhalte des mit Offline IMAP angelegten Archivs an und übernimmt die ursprüngliche Ordnerstruktur.

Eine Kleinigkeit gibt es dennoch in Sachen Zusammenarbeit zu bemängeln: Löscht der Anwender Nachrichten auf dem IMAP-Server, markiert Offline IMAP diese wie erwähnt auch lokal mit einem entsprechenden Flag. Daraufhin befördert der Mailclient des Gnome-Desktops die Mails selbstständig in den Trash-Ordner und löscht sie (abhängig von der Konfiguration) auch beim Beenden des Programms. Verschiebt oder löscht der Anwender Nachrichten des eigenen Archivs über Evolution, spiegelt Offline IMAP den Zustand beim nächsten Lauf auf den Server zurück.

Lediglich beim Anlegen eines neuen Ordners verschluckte sich der Gnome-Mailer im Test und kam offenbar nicht mit der Neuorganisation der Maildir-Struktur klar. Abgesehen davon sind Evolution und Offline IMAP ein gutes Team. Der Client behandelt das Archiv wie einen normalen Mailaccount und stellt dazu seine gewohnte Funktionalität samt Indizierung sowie Suchmöglichkeiten und Filter zur Verfügung.

Unterstützung mangelhaft

Thunderbird erkannte im Test das Offline-IMAP-Archiv aufgrund seines Formats nicht. Der Sprössling der Mozilla-Familie verwendet selbst eine Mbox-Variante zur Mailaufbewahrung und kann nicht direkt über das Dateisystem mit Maildir-Ordnern zusammenarbeiten. Addons, die das Problem umgehen, existieren nicht, und auch Pläne des Entwicklerteams, die Mailboxstruktur zu ändern, sind nicht bekannt.

Kmail schien zunächst kooperativ und erstellte problemlos einen lokalen Account im Maildir-Format. Reicht man dem KDE-Client allerdings den kleinen Finger, nimmt er sofort die ganze Hand. So importierte das Programm – ohne nachzufragen – alle im Offline-IMAP-Archiv enthaltenen Mails. Kmail legt die elektronische Post unter »~/.kde/share/apps/KMail/mail/inbox« ab und löscht die Nachrichten unglücklicherweise auch aus dem Ursprungsverzeichnis.

Offline IMAP reagierte wie zu erwarten nicht gut darauf und entfernte beim nächsten Lauf alle Mails auf dem IMAP-Server (siehe auch Kasten “Vorsicht vor Mailverlust”). Kmail ignoriert darüber hinaus alles, was sich nicht »INBOX« nennt. Manches ist wirklich Glücksache, besonders wenn man bedenkt, wie rabiat und ohne Warnung der Client das Archiv zerstört. Von einer Zusammenarbeit zwischen Kmail und Offline IMAP ist daher dringend abzuraten.

Archivemail

Auch der zweite Testkandidat ist in Python implementiert. Archivemail verfolgt einen ganz ähnlichen Ansatz wie Offline IMAP, überträgt aber nur in eine Richtung – vom Server ins lokale Archiv. Anders als der erste Testkandidat übernimmt dieses Tool die IMAP-Flags nicht. Archivemail setzt grundsätzlich alle Nachrichten auf »gelesen« und markiert auch die Mails auf dem Server so, da es sie vor der Übertragung liest.

Das Tool kommt ohne Konfigurationsdatei aus. Stattdessen vermittelt der Anwender seine Wünsche über Aufrufoptionen auf der Shell. Archivemail setzt für die lokale Sammlung auf das Mbox-Format und legt – sofern nicht über »–no-compress« deaktiviert – Gzip-komprimierte Archive an. Da von den getesteten Mailclients nur Mutt mit derartigen Foldern umgehen kann (und das auch nur über ein Patch, [13]), ist diese Option unverzichtbar.

Am besten lädt der Anwender die neuesten Sourcen aus dem Git-Repository von der Projekt-Homepage herunter. Nach den beiden Kommandos »python setup.py build« und »python setup.py install« ist das Programm einsatzbereit. Obwohl Archivemail dieselbe Python-SSL-Bibliothek nutzt wie Offline IMAP, benötigt das Tool kein Patch, um eine TLS-Verbindung aufzubauen.

Der folgende Beispielaufruf ist ein Testlauf (»-n« bewirkt das Gleiche wie »–dry-run« ) und zeigt, was Archivemail im Ernstfall erledigt: Alle Mails, die älter als 30 Tage sind, schreibt das Tool ins lokale Archiv und entfernt sie vom IMAP-Server. Dabei klammert es ungelesene Nachrichten aus (»–preserve-unread« ). Das Kennwort befindet sich in diesem Beispiel in einer Datei namens »passwort.txt« , der Benutzername heißt »user@mail.net« und der Server »example.org« :

archivemail -n -d30 --preserve-unread --no-compress --pwfile passwort.txt -o $HOME/Archive imaps://"user@mail.net"@example.org/*

Wer die Aufrufparameter nicht immer wieder von Hand tippen möchte, kann das kleine Skript aus Listing 2 zu Hilfe nehmen und an das eigene System anpassen. Es setzt die Umgebungsvariable »PASSWORD« , speichert alle E-Mails, die älter als fünf Tage sind, in unkomprimierten Mbox-Dateien im Verzeichnis »$HOME/Archive« und löscht sie danach vom Server. Der Parameter »-q« sorgt dafür, dass Archivemail die Ausgaben auf der Shell unterdrückt.

01 #!/bin/sh
02 export PASSWORD="Sicher"
03 /usr/local/bin/archivemail -q -d5 --no-compress -o $HOME/Archive imaps://user:'"'$PASSWORD'"'@example.org/*

Ein solches Skript ruft der Anwender wahlweise von Hand auf oder fügt es seiner eigenen Crontab hinzu:

43 1 * * * /home/mela/bin/archiviere.sh

Vorsicht ist mit den Optionen »–delete« und »–copy« geboten. Erstere löscht Nachrichten vom Server, ohne sie ins lokale Archiv zu legen. Die zweite belässt dagegen auch bereits archivierte Nachrichten auf dem Server. Archivemail prüft beim nächsten Aufruf aber nicht, ob Mails sich bereits in der lokalen Sammlung befinden. Daher ist die Gefahr groß, mit »–copy« ein aufgeblähtes Archiv voller Duplikate zu verursachen.

Im Dialog

Mutt arbeitet von Haus aus mit dem Mbox-Format, und so klappt das Zusammenspiel mit Archivemail reibungslos. Sofern das Archivierungstool nicht direkt ins lokale Mailverzeichnis schreiben darf, navigiert der Nutzer zum Archivordner. Löscht er Nachrichten aus diesem, sollte er daran denken, dass Archivemail diese auch bereits auf dem Server entfernt hat, die Mails also wirklich weg sind.

Ein entsprechender Eintrag in der Datei »~/.muttrc« sorgt dafür, dass Mutt neue Nachrichten in den Archivemail-Ordnern meldet und der Anwender nicht dauernd selbst dort nachschauen muss:

mailboxes INBOX_archive INBOX.Drafts_archive INBOX.Sent_archive [...]

Auch in diesem Szenario gilt: Die Suchfunktion von Mutt erweitert der Nutzer am besten über die im Offline-IMAP-Abschnitt erwähnten Erweiterungen.

Evolution kooperiert ebenfalls gut mit Archivemail. Bei der Einrichtung des Kontos wählt der Anwender als »Server-Art« die Option »Standard Unix mbox spool directory« aus. Der Client greift dann direkt auf die Archivdateien zu und zeigt auch neu eingetroffene Mails an. Evolution erstellt einen internen Index und punktet so bei der Suchperformance.

Anders als Offline IMAP setzt Archivemail keine »deleted« -Flags, die dem unachtsamen Nutzer zum Verhängnis werden könnten. Neu angelegte Ordner formatiert Evolution ebenfalls als Mbox-Folder. Da Archivemail nur in eine Richtung arbeitet, gelten diese Strukturen allerdings nur in der lokalen Sammlung.

Alles meins

Thunderbird macht mit Archivemail eine etwas bessere Figur als beim Test mit den Offline-IMAP-Archiven (Abbildung 3) und überzeugte im Test vor allem mit einer komfortablen und performanten Suchfunktion. Ganz reibungslos gestaltet sich die Zusammenarbeit aber dennoch nicht. Der Mozilla-Client besteht auf Mailboxen, die im eigenen Konfigurationsverzeichnis unterhalb von »~/.thunderbird« liegen.

Abbildung 3: Da Thunderbird eine Mbox-Variante zur Aufbewahrung der Nachrichten verwendet, arbeitet der Mozilla-Client recht gut mit Archivemail zusammen.

Das bedeutet: Entweder kopiert der Nutzer die von Archivemail angelegten Archivdateien von Hand an diesen Ort oder er greift auf das Addon Import Export Tools [14] zurück. Diese Erweiterung erlaubt ein schnelles Im- und Exportieren von Mails und unterstützt die Formate Mbox, EML, Reintext und HTML.

Treffen nach einem Archivemail-Aufruf neue Nachrichten ein, erfährt Thunderbird in der Voreinstellung nichts davon. Ein möglicher Ausweg ist, das Verzeichnis für Thunderbirds lokale Ordner als Archivemail-Arbeitsverzeichnis zu konfigurieren:

archivemail -n -d30 --preserve-unread --pwfile passwort.txt -o $HOME/.thunderbird/[...]/Mail/Local\ Folders imaps://"user@mail.net"@example./INBOX

Wer außer mit Thunderbird allerdings mit weiteren Clients auf die Sammlung zugreifen möchte, sollte von dieser Einstellung absehen.

Kmail zusammen mit Archivemail einzusetzen ist zwar möglich, weckt aber keine große Begeisterung. Jede Mbox-Datei benötigt ihr eigenes lokales Konto – verknüpft mit einem lokalen Ordner, der ebenfalls im Mbox-Format vorliegt (Abbildung 4). Ruft der Anwender die lokalen Nachrichten ab, entfernt Kmail die Ursprungsdatei. Archivemail lässt dieses Verhalten zum Glück kalt, das Tool speichert neue Mails klaglos wieder in der geleerten Datei.

Abbildung 4: Kmail zeigt die Mailbox immer noch im Ursprungsverzeichnis an, obwohl der Client den Inhalt von dort bereits importiert hat.

Im Gegensatz zu den erwähnten Import Export Tools für Thunderbird, die einen echten Import vornehmen, besteht in diesem Szenario weiterhin lediglich eine Verknüpfung zwischen dem KDE-Mailer und der Archivemail-Mbox-Datei. So zeigt Kmail neu eingetroffene Nachrichten an und verleibt sie sich postwendend ein. Dass der Client das Mbox-Format beibehält und der Nutzer die Datei jederzeit aus dem Verzeichnis »~/.kde/share/apps/kmail« zurückkopieren kann, entschädigt kaum.

Der Einsatz von Archivemail ist insgesamt leider nicht frei von Nebenwirkungen. Jeder Durchlauf markiert alle ungelesenen Mails in dem bearbeiteten IMAP-Ordner als gelesen. Darüber hinaus besitzt das Tool keine Option, um die heruntergeladenen Mails zurück auf den Server zu befördern. Wer auf eine solche Funktion Wert legt, sollte seinen Blick auf das Python-Tool Mbox2imap lenken [15].

Archiveopteryx

Das in C++ geschriebene Programm ist ein vollwertiger Mailserver und eignet sich vor allem für die Langzeitarchivierung vieler Nachrichten und mehrerer Benutzer. Anders als die ersten beiden Testkandidaten importiert Archiveopteryx die Mails nicht einfach, sondern will vielmehr den Server ganz ersetzen. Das Tool bietet gleich mehrere Wege, um Nachrichten auf den eigenen Rechner zu übertragen, und speichert sie dort in einer PostgreSQL-Datenbank.

Die Installation und Einrichtung gestaltete sich im Test als aufwändiges Unterfangen. Ist auf dem eigenen System noch keine PostgreSQL-Datenbank vorhanden, muss sich der Anwender zunächst um diese kümmern. Danach ruft er den Archiveopteryx-Installer über »/usr/local/archiveopterix/lib/installer -p “pgsql-superuser”« auf. Dieser erzeugt unter anderem die beiden Konfigurationsdateien »archiveopterix.conf« und »aoxsuper.conf« . Auf dem Testrechner war es zudem erforderlich, die Kommentarzeichen vor den beiden folgenden Zeilen der »archiveopterix.conf« zu entfernen – auch wenn die Dokumentation behauptet, das sei nur zu Debugging-Zwecken notwendig:

security = off
use-tls = false

Als letzten Schritt legt der Nutzer einen Account für Archiveopteryx an und startet den Dienst:

aox add user test 123xyz test@mail.net
aox start

Da sich Archiveopteryx zum Standard-IMAP-Port 143 verbindet, darf auf dem Rechner kein weiterer IMAP-Dienst in Betrieb sein. Läuft der Server, kann theoretisch jedes E-Mail-Programm über das IMAP-Protokoll auf das lokale Archiv zugreifen. Zunächst gilt es jedoch, dieses zu füllen.

Um ein lokales Archiv anzulegen, bietet Archiveopteryx mehrere Ansätze: die mitgelieferten Kommandos »aoximport« und »deliver« sowie das Protokoll LMTP [16]. Der zuerst genannte Befehl importiert Mailboxen eines entfernten Servers in den Formaten Mbox, Maildir, MH oder Cyrus. Auch »deliver« bringt bereits vorhandene Mailboxen auf den heimischen Rechner und arbeitet dazu beispielsweise mit der Procmail-Komponente »formail« [17] zusammen (Abbildung 5). Alternativ importiert »deliver« auch Mails von Mail Transport Agents, die das LMTP-Protokoll nicht unterstützen.

Abbildung 5: Das bei Archiveopteryx mitgelieferte Tool »deliver« importiert zusammen mit »formail« Nachrichten aus einer vorhandenen Mbox-Mailbox.

Jurassic Park

Im Gegensatz zu den anderen beiden Testkandidaten setzt Archiveopteryx direkt am MTA an. Anwender, die mit POP3 oder IMAP abgerufene Nachrichten in ein Archiveopteryx-Archiv importieren wollen, müssen eine eigene Lösung basteln. Hier bieten sich Tools wie beispielsweise Fetchmail [18] an.

In der Voreinstellung benötigt Archiveopteryx Cron nicht zur Automatisierung, da es selbst ein Dienst ist. Lediglich die Datenbank sollte der Anwender regelmäßig mit »aox vacuum« säubern. Zu diesem Zweck empfiehlt sich in der Crontab etwa der folgende Eintrag:

20 20 * * * aox /usr/local/archiveopteryx/lib/aox vacuum

IMAP-Ordner heißen bei Archiveopteryx »mailboxes« . Welche Folder in der Datenbank existieren, verrät das Kommando »aox list mailboxes« . Als besonderes Schmankerl bringt das Tool so genannte »view« -Mailboxen mit und zeigt dort neue Nachrichten an, die auf bestimmte, vorher festgelegte Suchmuster zutreffen. Das könnten zum Beispiel alle Nachrichten eines Folders sein, die jünger als 30 Tage sind. Der folgende Befehl erstellt eine solche »view« -Mailbox mit Nachrichten, die auf CC Helga Mustermann nennen:

aox add view /views/helga /users/meins/INBOX search cc helga@mustermann.de

Die Frage nach dem Re-Import stellt sich bei Archiveopteryx eigentlich nicht, da das Programm selbst ein IMAP-Server ist. Um von einem Server zu einem anderen zu migrieren, greift der Nutzer am besten zu Offline IMAP, also dem ersten Testkandidaten.

Damit der Konsolenmailer Mutt sich mit dem Archiveopteryx-IMAP-Server verbinden kann, ist die Direktive »set imap_authenticators=”plain:login”« in der Einrichtungsdatei »~/.muttrc« erforderlich. Der Zugriff über SSL-verschlüsseltes IMAP gelang im Test nicht; ansonsten bereitete der Konsolenmailer wie auch bei den ersten beiden Kandidaten keine Probleme.

Thunderbird möchte sich über »SSL/TLS« und »Encrypted Password« auf Port 143 mit Archiveopteryx verbinden. Das klappte im Test vorzüglich und lief wesentlich performanter als mit Mutt, da Thunderbird zunächst nur den Nachrichtenindex anzeigt. Auch bei der weiteren Zusammenarbeit gibt es keine Unterschiede zu der mit einem entfernten IMAP-Server.

Evolution ist anderer Meinung als Thunderbird, lehnt die verschlüsselte Verbindung ab und gibt sich bei der Authentifizierung mit der Einstellung »Passwort« schon zufrieden. Darüber hinaus gibt es keine Unterschiede zum Mozilla-Mailer, alle Funktionen stehen wie gewohnt zur Verfügung.

Als einzige Archivierungsmethode bereitet Archiveopteryx auch Kmail keine Probleme. Bei den Verbindungseinstellungen bestand das KDE-Programm auf der Authentifizierungsmethode »Klartext« ohne »STARTTLS« , danach lud es alle Mails klaglos vom Server herunter – ohne diese zu verschieben. Auch der gleichzeitige Zugriff auf die lokale Sammlung von anderen Clients aus klappte wunderbar.

Handarbeit

Keines der drei getesteten Archivierungstools ist rundum ganz sauber, sicher und unproblematisch. Trotz der etwas aufwändigeren Installation und Einrichtung hinterlässt Archiveopteryx schließlich den besten Eindruck, da es dank des PostgreSQL-Backend die robusteste Speichervariante bietet.

Am besten macht der Anwender seine Entscheidung vom Mailboxformat und seinem Lieblings-Mailclient abhängig. Zusätzlich sollte er die lokalen Archive in jedem Fall auf einem weiteren Medium sichern.