© lawren, 123RF.com

Touchscreens, Multitouch und Gesten auf einem Mini-Display setzen sich gerade durch. Die nächste Generation der User Interfaces wird völlig berührungslos, und Open Source ist voll dabei.

2006 kam die Wii, 2007 das I-Phone. Beide Geräte schafften es, einer breiten Öffentlichkeit Eingabeformen für Computer nahezubringen, die Endkunden bis dahin eher ins Genre der Science Fiction eingeordnet hätten.

Dabei sind Multitouch-Displays und Lagesensoren in Consumergeräten erst der Anfang. Gerade Open-Source-Software und Linux nehmen bei Mensch-Maschine-Schnittstellen eine Avantgarde-Rolle ein. Bereits 2003 zeigte beispielsweise eine Diplomarbeit der Uni Tübingen, wie sich ein Open-Source-Browser mit reiner Gedankenkraft steuern lässt [1].

Bewegung an der Konsole

Auf den Konsolen hat die Konkurrenz nachgelegt. Microsoft setzt der Wii [2] die berührungslose Kinect-Technik [3] an der X-Box entgegen und Sony bringt mit “Move” [4] wahlweise Laserschwert oder Pfeil und Bogen ins Wohnzimmer. Im Gegensatz zu Nintendo bauen die beiden Hersteller eine oder mehrere Kameras ein und installieren ausgefuchste Motion-Detection-Verfahren. Unter Linux lässt sich der Kontroller der Wii recht einfach als Eingabegerät konfigurieren [5]. Alternativ kann ein Rechner die Spielkonsole auch fernsteuern [6].

Die Gestenerkennung beschränkt sich unter Linux nicht auf Maus, Bildschirme, Touchscreens oder -pads. So lernt Ubuntu laut Designer Christian Giordano gerade, auf die Bewegungen des Benutzers vor dem Rechner zu reagieren, indem es die Webcam-Bilder auswertet [7]. Wenn der etwa aus dem Bild der Kamera verschwindet, vergrößert Ubuntu die aktuell dargestellte Anwendung, sodass Schriften auch aus größerer Entfernung lesbar bleiben.

Motion Detection

Weiter und flexibler ist da die Technologie, die das Projekt Open Computer Vision (Open CV) bietet [8]. In einem Howto beschreiben die Entwickler ihre Software, die Ort und Bewegung der Augen eines Benutzers vor einer Webcam automatisch erkennt [9].

Abbildung 1 zeigt einen faszinierenden Anwendungsfall für solche Software: Im Linzer Technologiemuseum Ars Electronica Center (AEC) steuert ein Linux-PC zwei Webcams und einige Motoren im Gesicht eines Roboters. Bewegt sich der Besucher vor ihm, so dreht er seinen Kopf und versucht, dem Menschen immer geradewegs in die Augen zu sehen. Klappt das nicht, fahren die Servos seine Mundwinkel enttäuscht nach unten, die Augenbrauen wandern hoch. Der Monitor am unteren Rand des Fotos zeigt einen KDE-Desktop mit fortlaufenden Sensordaten [10].

Abbildung 1: Motion-Tracking und Gesichtserkennung mit Linux im Ars Electronica Center in Linz.

© Markus Feilner

Anziehend: Sechster Sinn

Noch weiter treibt es das Projekt Sixth Sense [11]. Der MIT-Entwickler Pranav Mistry hat eine Hardware-Kombination für wenige hundert Dollar zusammengestellt, die aus tragbarem Mini-Computer, -Beamer, -Kamera und eigener Software besteht (Abbildung 2). Sixth Sense projiziert Anwendungsdaten und -Schaltflächen auf beliebige Oberflächen, zum Beispiel eine Telefontastatur auf die Hand (Abbildung 3) oder eine Meldung über einen verspäteten Abflug direkt aufs Ticket (Abbildung 4).

Abbildung 2: Pranav Mistry zeigt Sixth Sense, ein Paket aus Mini-Beamer, Kamera, tragbarem Rechner und den Informationen des Internets.

© Pranav Mistry, MIT Media Lab

Abbildung 3: Gestengesteuert und von jedem Monitor losgelöst: Telefonieren geht mit Sixth Sense wirklich leicht von der Hand.

© Pranav Mistry, MIT Media Lab

Abbildung 4: Sehr praktisch: Durch eine „Delayed“-Meldung auf dem Flugticket erfährt der Reisende bereits im Taxi, dass sein Flug verspätet ist.

© Pranav Mistry, MIT Media Lab

Die Eingaben des Anwenders, entweder als freie Gesten in der Luft oder das Antippen der Tastatur auf der Hand, erkennt der sechste Sinn mit seiner Kamera und verarbeitet sie. Sixth Sense ist mobil vernetzt und kann – berührungslos gesteuert – auch analog zu heutigen Zwischenablagen per Drag-and-Drop Daten mit anderen Computern austauschen.

Wer das nicht glaubt, sollte unbedingt die Videos auf der MIT-Webseite anschauen. Mistry versprach 2009, das Projekt als Open Source zu veröffentlichen und die Hardware “sehr, sehr günstig” zu halten, doch leider scheint es bis dato noch keinen Code zu geben.

Auch die Universität Südaustralien in Adelaide steht beim Thema Wearables, sinngemäß IT zum Anziehen, in der ersten Reihe. Ein Blick auf die Website des WCL (Wearable Computer Lab, [12]) lohnt sich: Neben exotischen Eingabegeräten wie einem digitalen Schaumball (Digital Foam) mit hunderten Sensoren als Modellierhilfe für 3D-Designer finden sich hier elektronische Stethoskope und diverse Augmented-Reality-Tools. Nebenan arbeitet das Magic Vision Lab bereits an einer Art Holo Deck.

Gedankensteuerung

Doch die berührungs- und monitorlosen Steuerung durch Gesten ist noch nicht das Ende der Fahnenstange. Schon mehr als zehn Jahre lang forschen zahlreiche Wissenschaftler und ITler an der Gedankensteuerung für Rechner mittels Brain-Computer-Interfaces (BCI). Ein derartiges System darf der Besucher ebenfalls im AEC in Linz ausprobieren.

Eines der mächtigsten Open-Source-Frameworks für BCI ist Open Vibe [13]. Es richtet sich vor allem an Entwickler virtueller Welten und dürfte wohl bald in Computerspielen auftauchen. Die Version 0.7 ist für Linux und Windows verfügbar und nutzt neben anderen freien Softwaretools die Open-Source-3D-Engine Ogre [14]. Die Liste der unterstüzten Hardware ist überraschend lang, vor allem angesichts der exotischen Nische.

Filmreif

Tragbar, online, berührungslos: Open-Source-Entwickler und Forscher setzen ihre kühnen Visionen bereits um. In nicht allzu ferner Zukunft ergänzen und erweitern Gesten- und Gedankensteuerung Maus, Tastatur und Bildschirm. Dafür entwickeln Projekte wie Igesture [15] oder Natural User Interfaces (NUI, [16]) vollständig neue Benutzerschnittstellen und Frameworks.