(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Forscher von Apple haben herausgefunden, dass einzelne unter den Milliarden Parametern eines LLM, sogenannte Super Weights, die Sprachfähigkeit des Modells entscheidend beeinflussen oder sogar zerstören können.
Im Extremfall reicht ein einzelner Wert, der, wenn er geändert oder gelöscht wird, darüber entscheidet, ob das Modell noch sinnvollen Text produzieren kann. Diese Beobachtung ist besonders relevant für die Kompression von Sprachmodellen. Eine solche Kompression wiederum ist nötig, wenn die Modelle auf Hardware mit beschränkten Ressourcen laufen sollen, etwa auf einem Mobiltelefon. Ein Modell in Originalgröße mit Milliarden Parametern ist dort nicht ausführbar. Durch Komprimierung sinkt aber auch der Speicher- und Strombedarf der Modelle und so lassen sie sich lokal ausführen. Allerdings würde eine naive Kompression die Leistungsfähigkeit drastisch beeinträchtigen, oder, wie beim Wegfall eines Super Weights, ganz zunichte machen.
Die Forscher gingen auch der Frage nach, wie ein solches Super Weight gefunden werden kann. Die Antwort: Es ist an außergewöhnlichen Spitzen in der Aktivierung der Neurone erkennbar, die unabhängig vom Input auftreten und sich über viele Netzwerkschichten fortpflanzen.
Die Entdeckung von Supergewichten und Superaktivierungen kann zu Verbesserungen bei der LLM-Komprimierung und zu einem breiteren Verständnis dieser Modelle in diesem Bereich führen. Der große Einfluss dieser wenigen Parameter legt nahe, dass ihre Erhaltung bei LLM-Kompressionstechniken entscheidend ist. Durch die Beibehaltung des Supergewichts bei gleichzeitigem Ausschneiden anderer Gewichtsausreißer kann die einfache Round-to-Nearest-Quantisierung selbst bei viel größeren Blockgrößen als bisher für möglich gehalten effektiv sein, was zu besseren Kompressionsraten führt.
