(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Metas Vice President of generative AI, Ahmad Al-Dahle, hat auf X die Verfügbarkeit des neuen Sprachmodells Llama 3.3 bekanntgegeben.
Llama 3.3 ist ein 70B-Modell, verfügt also über 70 Milliarden Parameter, soll aber so leistungsfähig sein wie das 405B-Modell aus gleichem Haus. Damit legt das neue Release den Schwerpunkt auf Effizienz und Kostenersparnis. Während Llama 3.3 in diversen Benchmarks auf Augenhöhe mit GPT-4o operiert, liegt es bei den Kosten pro Million Input-Token mit 0,1 Dollar deutlich hinter GPT-4o mit 2,5 Dollar. Noch größer ist der Unterschied pro Million Output-Token, wo für Llama 3.3 nur 0,4 Dollar anfallen, für GPT-4o aber 10 Dollar. Al-Dahle schreibt: “Durch die Nutzung der neuesten Fortschritte im Bereich der Post-Training-Techniken, einschließlich der Online-Präferenzoptimierung, verbessert dieses Modell die Kernleistung zu deutlich geringeren Kosten und macht es für die gesamte Open-Source-Gemeinschaft noch leichter zugänglich.”
Das multi-linguale Text-only-Modell, das mit einem neuen Mix aus rund 15 Billionen Token nicht näher bestimmter, öffentlich zugänglicher Daten trainiert wurde, unterstützt Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch, und Thai. Es verarbeitet eine Kontextgröße von 128k. Sein Wissen um aktuelle Begebenheiten reicht bis Dezember 2023. Die Llama 3.3 Community License erlaubt die Nutzung für kommerzielle und für Forschungszwecke.
