Die Software Llamafile erleichtert die Ausführung von quelloffenen Large-Language-Modellen (LLM), wie man sie etwa von ChatGPT kennt. Die neue Version 0.8.2 beseitigt einen Fehler und arbeitet flotter.
Llamafile entsteht maßgeblich bei Mozilla. Die Software fasst mehrere KI-Komponenten nebst einem LLM in einem kompakten ausführbaren Programm zusammen, dem sogenannten Llamafile. Nach seinem Start kann man direkt das LLM nutzen, etwa indem man es über eine OpenAI-kompatible Schnittstelle befragt. Die Modelle führt Llamafile wahlweise auf einer GPU oder der CPU aus.
Unter der Haube spannt Llamafile die Cosmopolitan Libc sowie die Software llama.cpp ein. Letztgenannte Komponente kommt in Llamafile 0.8.2 in einer frischeren Version mit Entwicklungsstand vom 4. Mai zum Einsatz. Unter anderem verbessert sie in einigen Fällen die sogenannte Tokenization.
Llamafile 0.8.2 nutzt die AVX2-Befehle des Hauptprozessors besser, wodurch die Software Anfragen an das Model schneller auswertet (konkret für K-Quantisierung und IQ4_XS). Weitere Optimierungen unter anderem bei der Thread-Synchronisation beschleunigen die Text-Generierung. Der CPU-Code in der GGML-Bibliothek soll jetzt auf allen unterstützten Prozessoren die gleiche optimale Performance abliefern.
Darüber hinaus lassen sich die mathematischen Berechnungen über die neuen Parameter „–precise“, „–fast“ und „–trap“ steuern. Abschließend haben die Entwickler einen Bug im Endpoint „/embedding“ der API behoben.
