In der Schule erwarten und belohnen Lehrer gern die so genannten Transferleistungen. Im Deep Learning scheint das nicht anders zu sein, wie ein neues Paper zeigt. Das erforscht, wie sich dank Transfer Learning Texte mit deutlich weniger Aufwand klassifizieren lassen.

Die beiden Autoren des auf Arxiv.org veröffentlichten Papers, Jeremy Howard und Sebastian Ruder, beschreiben, wie sie Universal Language Modelle so anpassen, dass diese Textklassifizierungen vornehmen. Die helfen zum Beispiel dabei, für einen gerichtlichen Fall relevante Dokumente zu finden, Spam, Bots und beleidigende Kommentare zu identifizieren, positive und negative Bewertungen für ein Produkt zu unterscheiden oder Artikel nach politischer Orientierung zu sortieren.

Die Forscher haben neben dem Paper auch die von ihnen geschaffenen antrainierten Modelle veröffentlicht sowie den zugehörigen Python-Quellcode. Ihre Methode verbessere bisherige Ansätze der Textklassifizierung, zeige sich in sechs speziellen Ansätzen zur Textklassifikation performanter, reduziere den Fehler bei der Mehrheit an Datensätzen um 18 bis 24 Prozent und brauche deutlich weniger Daten als andere NLP-Ansätze. Technische Details liefert eine weitere Seite zur Klassifizierung.

Die Methode die sie benutzen, ist das eingangs erwähnte Transfer Learning. Anstatt ein neues Modell von der Pike auf zu entwickeln, passen die Forscher ein vorhandenes Modell, das bereits ein bestimmtes Problem lösen kann, an ihre eigenen Zwecke an. Sie entschieden sich für das AWD LSTM Language Model, bei dem die Software versucht, das nächste Wort in einem Satz vorherzusagen.

Modelle anpassen

Indem sie die Lerngeschwindigkeit und -fähigkeit des Modells kontrollierten, bemerkten sie, dass das Modell bereits mit wenigen Beispielen effektiv lernt. Zum Teil genügten dem Modell 100 beschriftete Klassifizierungs-Beispiele, um dieselbe Performance zu erzielen, das ein von Grund auf trainiertes Modell erst mit 10 000 Labeln erreichte. Zugleich ließen sich auch recht verschiedenartige Textquellen mit dem Modell trainieren.

Die Autoren gehen davon aus, dass sich mit Ulmfit (Universal Language Model Fine-tuning for Text Classification) auch Textklassifizierungs-Modelle für in den üblichen Datensammlungen nur schlecht vertretene Sprachen einfacher trainieren lassen, etwa über die Datensätze der Wikipedia. Ein von ihnen vortrainierter Modellzoo soll dabei helfen. Dank ihrer Entdeckung hoffen sie nicht zuletzt auf eine Explosion an Anwendungen auf dem Feld des Natural Language Processing.