(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Der bislang über Jahrzehnte unverändert gebliebene Mauszeiger soll laut Google neue KI-Funktionen übernehmen, indem er Inhalte und Kontexte erfasst, auf die er zeigt.
So soll der Anwender beispielsweise den Cursor über das Bild eines Gebäudes bewegen können und dabei fragen “Wie komme ich da hin?”. Die KI ermittelt daraufhin Adresse und Wegbeschreibung. Der Anwender soll nicht mehr alle Informationen in das Fenster kopieren müssen, in dem der Chatbot läuft, sondern umgekehrt: Der Chatbot erhält via Mauszeiger Zugang zu den Informationen in allen anderen Fenstern. Textlastige Aufgabenbeschreibungen sollen durch einfache Zeigegesten abgelöst werden.
Dabei sollen alle Arten von Dokumenten erkannt werden, von PDFs bis zu Kalkulationstabellen. Einfache Anweisungen wie “Füge das hinzu”, “Bringe das in Ordnung” oder “Bewege das hierher” sollen reichen, und die KI versteht aus Mauszeigerposition und Kontext, was gemeint ist. Stoppt man ein Reisevideo an einer Stelle, an der ein interessantes Restaurant im Bild ist, kann die KI den Link zur Reservierungsseite liefern.
Im Moment werden solche Funktionen in den Chrome-Browser und die Googlebook-Laptops integriert. Damit soll es bereits möglich sein, beispielsweise auf verschiedene Produkte in einem Browserfenster zu deuten und via Gemini in Chrome einen Vergleich anzufordern. Dasselbe soll bald mit den Googlebooks möglich sein.
