(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Google launcht eine neue Kollektion spezialisierter Sprachmodelle unter dem Namen TranslateGemma, die aus und in 55 Sprachen übersetzt und auf Gemma 3 aufbaut.
TranslateGemma wird es in drei Größen mit 3, 12 und 27 Milliarden Parametern geben. Dabei soll das Wissen großer Sprachmodelle für diese kleineren Modelle distilliert worden sein, sodass Effizienz keinen Kompromiss bei der Qualität mehr erfordert. Im Gegenteil: Dank seiner Spezialisierung übertrifft die 12B-Version von TranslateGemma sogar das größere
Gemma 3 27B Baseline in Sachen Performance. Erreicht wurde das mit Supervised Fine Tuning (SFT) undReinforcement Learning (RL) mit diversen Belohnungsmodellen.
Dank der geringen Modellgröße eignet sich das 4B-Modell schon für Mobilgeräte und das Edge-Computing, das 12B-Modell für Laptops und das 27B-Modell für den Einsatz mit einer einzelnen H100 GPU oder TPU in der Cloud. Dadurch entfällt in vielen Fällen die Notwendigkeit, sensible Dokumente auf externe Cloudserver hochzuladen.
