Das Mayhem-Projekt der Carnegie Mellon Universität hat den Debian-Entwicklern 1200 Bugs übermittelt, die die proprietäre Testsuite in Wheezy gefunden haben will. Eine Mail auf der Debian-Entwicklerliste sorgte für einen langen Thread, diverse Einblicke und interessante Informationen zum Bugtracking der freien Distribution.
Mayhem (Chaos, Durcheinander) – so nennt sich die Software, die die Carnegie Mellon Universität entwickelt hat, um Software automatisiert zu testen. Und die habe, meldet Entwickler Alexandre Rebert auf Debian-Devel sage und schreibe 1200 Bugs in Wheezy gefunden.
Meist nur simple Crashes
Die meisten seien zwar simple Crashes und keine sicherheitsrelevanten Fehler, aber dennoch würde man gerne verhindern, die Entwickler oder Mailinglisten oder das Debian Bugtracking System zu spammen, sondern die Bugs einerseits automatisch, andererseits aber auch direkt an die Maintainer der Pakete einzureichen. Die Liste der betroffenen Pakete, Bug Reports, Testcases und Crashinfos liefert Rebert gleich mit, in der Hoffnung, einen Hinweis zu bekommen, wie man derart große Mengen an Bugs “richtig einreichen könne?”
Aus der Mail mit dem schlagkräftigen Betreff “Reporting 1.2K crashes” entwickelte sich schnell ein langer Thread, in dem auch prominente Debian-Entwickler Tipps und Links beisteuern sowie kritische Nachfragen stellen. Paul Wise verweist beispielsweise auf das Debian-Howto für Checkpoints für Pakete, aber auch auf das Firehose-Projekt, in dem Fedora und “einige Debian-Leute” versuchen, ein “standard-maschinenlesbares Format für Defect Finding Tools” zu erstellen und so automatische Reports zu generieren. Außerdem schlägt er vor, Mayhem in Debian zu integrieren und einen gemeinsamen QA BoF auf der DebConf13 zu veranstalten. Doch daraus wird wohl nichts, denn Mayhem soll ein Webdienst werden, und wird wohl nicht als Open Source veröffentlicht, antwortet Rebert.
Mayhem: Kein Open Source
Auch seien die vollständigen Reports noch nicht veröffentlicht. Das aber nur, weil man den Entwicklern Zeit geben wolle, die Fehler zu fixen, man könne nicht ausschließen, dass einige darunter “exploitable” sind – auch wenn das in den meisten Fällen unwahrscheinlich sei.
Wenig später im Thread haben die Entwickler auch geklärt, dass Debian Stable als eher falsche Adresse für derlei Masseneinreichungen zumeist unkritischer Bugs erscheint, vielmehr sollten die Maintainer des Unstable-Branch die vollen Informationen erhalten. Dort bestehe auch das größere Interesse, Fehler mit Auswirkungen auf die Stabilität einzelner Programme zu fixen. Die Erfolgswahrscheinlichkeit ist da höher als bei Stable, “wo Software läuft, die vor Jahren veröffentlicht wurde”. Dort fixen die Entwickler tendenziell eher Fehler, die Sicherheitslöcher betreffen, ist man sich einig.
Robustheit!
Dennoch: Russ Allbery spricht wohl vielen Entwicklern aus der Seele: “Wie auch immer, es beeinträchtigt die Robustheit von Debian, und daher würde es mich sehr freuen, das gefixt zu sehen.” Und auch Ubuntu meldet sich: Dmitrijs Ledkovs, Ubuntu-Entwickler, zeigt sich ebenfalls interessiet, kann jedoch im Gegensatz zu Debian mit automatisierten Verfahren punkten: “Wir wären ebenfalls an einer ähnlichen Analyse interessiert, können aber bereits automatisch generierte Pakete mit Debug-Symbolen bieten.” Die Entwickler von Mayhem arbeiten nach eigener Aussage bereits an Tests mit anderen Distributionen.
Unstable-Kontakte und DEP5-Format
Ganz nebenbei zeigten sich in der Diskussion noch zwei weitere Felder, auf denen dem Debian-Team ein wenig Arbeit bevorsteht: Zum einen ist es für Außenstehende schwierig, vertrauliche Mails an Maintainer zu schicken, weil viele Adressen nur für öffentlich archivierte Mailinglisten stehen. Zum zweiten meint Andreas Tille, dass dieser Vorfall genau der richtige Anlass sei, um das DEP5-Format für maschinenlesbare Copyright-Files voranzubringen.
