Mozilla hat im Rahmen der Veröffentlichung von Llamafile 0.9.2 mit LocalScore auch eine erste Version des Benchmarks für lokale KI vorgestellt.
Llamafile selbst ist aus der Initiative Mozilla Builders Accelerators entstanden, mit der Open-Source-Projekte rund um das Thema KI gefördert werden.
Mit LocalScore lassen sich Benchmarks von lokal ausgeführten Large Language Models (LLMs) erstellen. Die Messungen können auf die CPU und die GPU zielen. Bei den Grafikprozessoren ist LocalScore derzeit aber auf Nvidia-GPUs eingeschränkt.
Gesdtartet wird LocalScore wahlweise über die Pakete von Llamafiles oder über ein separates Binärpaket. Linux und Windows werden dabei unterstützt. Den Download von LocalScore und die weitere Nutzung erläutert die Webseite dazu.
Auf der Webseite LocalScore.ai sind Benchmarks zu diversen GPUs zu finden, die einen Anhaltspunkt zur zu erwartenden Leistung geben.
