Multimodale KI einfach erklärt: Wenn KI sehen, hören und sprechen kann

Was „multimodal“ bedeutet

Eine Modalität ist eine Art von Information: geschriebener Text, ein Foto, gesprochene Sprache, ein Geräusch oder ein Video. IBM beschreibt multimodale KI als Modelle, die Daten aus mehreren solcher Modalitäten verarbeiten und zusammenführen können.

Die ersten Chatbots konnten nur lesen und schreiben. Eine multimodale KI kann dagegen ein Foto ansehen, deine gesprochene Frage dazu hören und dir laut antworten. Sie verbindet also, was sie sieht, mit dem, was du sagst. Das ist der eigentliche Fortschritt: nicht nur ein Bild zu erkennen, sondern über das Bild ein Gespräch zu führen.

Die große technische Schwierigkeit liegt laut IBM genau darin, so unterschiedliche Datenarten sinnvoll miteinander zu verknüpfen. Deshalb gelingt das nicht in jeder Situation gleich gut.

Alltagsbeispiele: Kamera, Bildschirm, Foto

Gemini Live: In der Gemini-App für Android kannst du während eines Sprachgesprächs die Kamera einschalten und Gemini zeigen, was du siehst, oder deinen Bildschirm teilen. Zwischen Front- und Rückkamera lässt sich umschalten. Neu ist laut Google eine interaktive Orientierungshilfe, die nach und nach eingeführt wird: Sie liest zum Beispiel das Kleingedruckte auf Lebensmitteletiketten vor, hilft bei Farbunterschieden, bei Speisekarten im Dämmerlicht oder bei der Suche nach Gegenständen im Haushalt.

ChatGPT: Im Sprachmodus der ChatGPT-App für iPhone und Android kannst du laut OpenAI Video und Bildschirm teilen, allerdings nur im Modus „Advanced“ und nur mit berechtigtem Abo. Der neuere Live-Modus unterstützt Video und Bildschirmfreigabe derzeit nicht.

Google Suche: Der KI-Modus der Google Suche ist laut Google auch in Deutschland verfügbar. Du kannst dort Fragen nicht nur tippen oder sprechen, sondern auch Bilder und Dateien hochladen.

Be My Eyes: Die kostenlose App für blinde und sehbehinderte Menschen enthält die Funktion Be My AI. Du schickst ein Foto und bekommst eine Beschreibung oder Antworten auf Fragen dazu, laut App-Store-Beschreibung in 36 Sprachen. Nach Angaben des Anbieters nutzen weltweit mehr als eine halbe Million blinde Menschen die App.

Wie du mit einer KI sprichst und welche Assistenten das können, erklärt unser Überblick zum Voice-Modus.

Grenzen: Sehen heißt nicht verstehen

Eine KI kann ein Bild falsch deuten, eine Zahl falsch ablesen oder etwas übersehen. Google warnt bei seiner Orientierungshilfe ausdrücklich, dass sie Fehler machen kann, kein Medizinprodukt und keine Mobilitätshilfe ist und nicht zur Navigation oder zum Erkennen von Hindernissen genutzt werden soll. Für Medikamente, Verkehr und Sicherheit gilt deshalb: Die KI ist eine Hilfe zum Nachfragen, keine verlässliche Instanz.

Auch Bilder können manipuliert sein. Das Sicherheitsprojekt OWASP beschreibt, dass Angreifer Anweisungen in Bildern verstecken können, die eine multimodale KI dann ausliest und befolgt. Wie solche versteckten Befehle funktionieren, erklären wir im Glossarbeitrag zu Prompt Injection.

Datenschutz: Was die Kamera sieht, sieht auch der Anbieter

Wenn du die Kamera oder den Bildschirm teilst, schickst du diese Bilder an den Anbieter. Google weist darauf hin, dass bei der Bildschirmfreigabe in Gemini Live der gesamte Bildschirm geteilt wird. Schließ also vorher Banking-Apps, private Nachrichten oder andere sensible Inhalte.

Achte auch auf andere Menschen im Bild. Google bittet in seiner Hilfe ausdrücklich darum, die Privatsphäre anderer zu respektieren und um Erlaubnis zu fragen, bevor du sie aufzeichnest oder in ein Live-Gespräch einbeziehst.

Praktisch ist: Die Kamera in Gemini Live schaltet sich laut Google automatisch aus, wenn du die App verlässt oder das Display sperrst, und geht danach nicht von selbst wieder an.