Der Facebook-Mutterkonzern Meta hat LLaMA eine Sammlung von grundlegenden Sprachmodellen vorgestellt. Die seien auf Milliarden von Tokens trainiert und würden zeigen, dass es möglich ist, Modelle ausschließlich mit öffentlich verfügbaren Datensätzen zu trainieren, ohne proprietäre und unzugängliche Daten.
Wie Meta in seinem Entwicklerblog berichtet, soll der Datensatz LLaMA-13B den von GPT-3 (175B) bei den meisten Benchmarks übertreffen. Alle Modelle wolle man öffentlich zur Verfügung stellen.
Mark Zuckerberg schreibt auf Facebook, das LLaMA Forschern helfen soll, ihre Arbeit voranzubringen. LLMs (Large Language Models) hätten sich als vielversprechend erwiesen, wenn es darum gehe, Texte zu generieren, Gespräche zu führen, schriftliches Material zusammenzufassen und kompliziertere Aufgaben zu lösen, wie etwa mathematische Theoreme. Meta habe sich diesem offenen Forschungsmodell verschrieben und man werde das neue Modell der KI-Forschungsgemeinschaft zur Verfügung stellen, schreibt Zuckerberg.
Meta zufolge soll LLaMA derzeit nicht in den sozialen Netzen des Konzerns wie Faceook und Instagram eingesetzt werden, sondern eben in der KI-Forschung seinen Beitrag leisten. Eine Publikation der Meta-Forscher erläutert die KI von LLaMA näher.
