OpenAI hat seinem populären Chatbot ChatGPT mit der Fähigkeit versehen, zu sprechen, zu hören und zu sehen. Damit sollen Nutzer mit ihm nun auch via Videochat koomunizieren können.
So sollen mündliche Unterhaltungen mit ChatGPT realisierbar sein, bei denen man nichts zu tippen braucht. OpenAI stellt Stimmproben gesprochener Geschichten, Rezepte, Gedichte oder Erklärungen zur Verfügung. Außerdem soll es nun möglich sein, per Bilder-Upload ChatGPT etwas zu zeigen, beispielsweise einen Gegenstand oder eine Landchaftsaufnahme, über die man sich dann unterhalten können soll.
OpenAI schlägt noch weitere Einsatzmöglichkeiten vor: Fotos vom Kühlschrankinnern mit der Frage nach Rezeptvorschlägen, Fotos von Hausaufgaben der Kinder mit Bitte um Erklärung des Mathe-Problems oder Fotos von defekten Geräten mit Bitte um Reparaturvorschläge. Um die Aufmerksamkeit von ChatGPT auf ein spezifisches Detail im Bild zu lenken, kann man es durch Einkreisen markieren.
Das Bildverständnis beruht auf den Fähigkeiten von ChatGPT 3.5 und ChatGPT 4. Die Modelle wenden ihre sprachlichen Fähigkeiten auf ein breites Spektrum von Bildern an, zum Beispiel auf Fotos, Screenshots und Dokumente, die sowohl Text als auch Bilder enthalten
