EmbeddingGemma 2 bringt Foto-, Audio- und Videosuche auf das Smartphone

Am 6. Oktober veröffentlichte Google DeepMind EmbeddingGemma 2, ein Modell mit 740 Millionen Parametern, das Text, Code, Bilder, Audio und Video aufnimmt und sie alle in einem gemeinsamen mathematischen Raum platziert. Entscheidend ist nicht die Größe. Entscheidend ist, dass ein so kleines Modell auf einem Smartphone laufen kann, was bedeutet, dass die Suche in eigenen Medien stattfinden kann, ohne dass etwas das Gerät verlässt.

Embeddings sind die leise Maschinerie hinter vielen Dingen, die Menschen täglich nutzen. Ein Embedding-Modell verwandelt einen Inhalt in eine Liste von Zahlen, die so angeordnet ist, dass Ähnliches nahe beieinander landet. So weiß eine Suchmaschine, dass „wie repariere ich einen undichten Wasserhahn“ und „einen tropfenden Hahn reparieren“ ungefähr dasselbe Thema betreffen. So entscheiden auch Empfehlungssysteme, was sie Ihnen als Nächstes zeigen. Bislang bedeutete, dies über Bilder, Audio und Video hinweg gut zu machen, meist, Daten an einen Server zu senden und für den Hin-und-Rückweg zu bezahlen.

Ein Raum für alles

Interessant an EmbeddingGemma 2 ist das Wort „gemeinsam“. Viele Modelle handhaben eine Modalität gut: Text hier, Bilder dort. Ein gemeinsamer Raum bedeutet, dass ein einzelnes Modell einen Satz mit einem Foto vergleichen kann, ein Foto mit einem Audiosegment oder ein Videobild mit einer schriftlichen Beschreibung. Das praktische Beispiel, das Google nennt, ist das Auffinden eines bestimmten Videoclips, indem man mit einer Sprachnotiz sucht. Sie beschreiben, woran Sie sich erinnern, per Audio, und das System findet das passende Material.

Diese Art der modalitätsübergreifenden Suche gibt es in Cloud-Diensten schon seit einiger Zeit. Neu ist die Größe. Mit 740 Millionen Parametern ist das Modell klein genug für ein Smartphone, was die Datenschutzgleichung umkehrt. Wenn die Suche lokal läuft, verlassen Ihre Fotos, Audiodateien und Videos niemals das Gerät. Für alle, die gezögert haben, persönliche Medien nur zur Durchsuchbarkeit in einen Cloud-Dienst hochzuladen, ändert das die Kalkulation.

Warum On-Device immer wieder kleine Schlachten gewinnt

Dahinter steckt ein Muster, das über ein einzelnes Modell hinausgeht. Im vergangenen Jahr hat ein stetiger Strom kleiner, leistungsfähiger Modelle Aufgaben, für die früher ein Rechenzentrum nötig war, auf Geräte verlagert, die Menschen ohnehin besitzen. Googles eigene Gemma-Reihe hat in diese Richtung gedrängt, und andere Labs sind mit kleinen, auf bestimmte Aufgaben zugeschnittenen Modellen gefolgt. Der Reiz liegt nicht nur im Datenschutz. Es geht um Latenz, Offline-Verfügbarkeit und Kosten. Eine Suche, die auf dem Smartphone läuft, antwortet sofort und funktioniert im Flugzeug.

Diese Verschiebung ändert auch, wer bauen darf. Wenn eine Fähigkeit in der Cloud lebt, braucht ein Entwickler ein Konto, ein Budget und ein Netzwerk, um sie zu nutzen. Wenn sie auf dem Gerät läuft, braucht ein Entwickler eine Modelldatei und etwas Cleverness. Bestimmte Arten von Produkten werden möglich, die vorher unhandlich waren: ein persönlicher Foto-Organizer, der nie nach Hause telefoniert, ein Feldwerkzeug, das ohne Signal funktioniert, eine Notiz-App, die Ihre Audiodateien und Bilder lokal indexiert. Nichts davon ist spektakulär, und jedes hängt von demselben leisen Fortschritt ab: Ein Modell, das klein genug für ein Smartphone ist, ist inzwischen gut genug, um für echte Arbeit vertraut zu werden.

Für Entwickler öffnet das eine bestimmte Tür: retrieval-augmentierte Generierung, die die Maschine nie verlässt. RAG, die Technik, bei der ein Modell Fragen anhand eigener Dokumente beantwortet, hängt normalerweise von einem Embedding-Modell ab, das zuerst die relevanten Passagen findet. Wenn dieser Embedding-Schritt lokal laufen kann, kann ein lokaler Assistent Fragen zu Ihren Dateien und Medien ohne Netzwerkaufruf beantworten. Für regulierte Branchen oder für alle, die mit sensiblen Materialien umgehen, ist das der Unterschied zwischen einem erlaubten und einem nicht erlaubten Werkzeug.

Der Kompromiss, den niemand ignorieren sollte

Ein kleines Modell ist kein großes Modell, und die Lücke zeigt sich bei der Genauigkeit in schwierigen Fällen. Ein gehostetes Embedding-Modell mit deutlich mehr Parametern liefert im Allgemeinen bessere Treffer, besonders bei unordentlichen, mehrdeutigen oder ungewöhnlichen Inhalten. Wenn Ihre Anwendung davon abhängt, fast immer das beste Ergebnis richtig zu bekommen, reicht ein Modell mit 740 Millionen Parametern, das auf einem Smartphone läuft, möglicherweise nicht aus. Sie sollten es vor der Festlegung mit Ihren tatsächlichen Daten testen.

Die zweite Grenze ist das, was das Modell nicht tut. EmbeddingGemma 2 ist ein Such- und Organisationstool, kein Generator. Es kann weder ein Bild noch ein Video erzeugen. Es kann Ihnen helfen, die zu finden, die Sie bereits haben. Diese Unterscheidung ist wichtig, wenn die Aufmerksamkeit der Branche auf Generierung gerichtet ist, denn die unspektakuläre Schicht aus Suchen und Abrufen ist oft das, was eine generative Funktion überhaupt erst nutzbar macht.

Es gibt auch praktische Einschränkungen. Die Indexierung einer großen persönlichen Bibliothek kostet Speicher und Energie, und Smartphones sind bei beidem nicht unendlich. Ein 740-Millionen-Parameter-Modell ist klein für ein KI-Modell und groß für eine Smartphone-App, daher müssen Entwickler sorgfältig abwägen, wann es läuft und wie viel es indexiert. Nichts davon ist ein Ausschlusskriterium. Es sind die Details, die entscheiden, ob sich eine Funktion sofort anfühlt oder wie ein Batteriefresser.

Auch die Mehrsprachigkeit ist eine Anmerkung wert. Ein gemeinsamer Raum, der viele Sprachen und viele Medientypen abdeckt, ist umso wertvoller, je vielfältiger Ihre Bibliothek ist. Jemand mit Fotos aus drei Ländern, Sprachnotizen in zwei Sprachen und Dokumenten in einer dritten profitiert weit mehr von modalitätsübergreifender Suche als jemand mit einer ordentlichen, einsprachigen Sammlung. Für ein globales Produkt ist das der ganze Sinn. Für eine Einzelperson ist es der Unterschied zwischen einer Funktion, die bei Ihrem bestorganisierten Ordner funktioniert, und einer, die mit der unordentlichen Realität zurechtkommt, wie Menschen tatsächlich Dinge speichern.

Was das über den weiteren Weg sagt

Die nützlichste Art, diese Veröffentlichung zu lesen, ist als Hinweis darauf, wohin sich multimodale KI entwickelt. Generierung bekommt die Schlagzeilen, aber die Modelle, die den Alltag prägen werden, sind oft die kleineren, die organisieren, abrufen und verbinden. Ein Modell, mit dem Sie Ihre eigenen Fotos, Audios und Videos durchsuchen können, indem Sie beschreiben, woran Sie sich erinnern, ohne etwas hochzuladen, klingt bescheiden und hat doch große Reichweite.

Es füllt außerdem eine Lücke, die Generierung allein nicht schließen kann. Eine generative Funktion ist nur die Hälfte eines Produkts; die andere Hälfte ist, das zu finden, was Sie ändern möchten. Jeder, der schon durch Tausende Fotos gescrollt ist, um eines zu finden, hat diese Lücke gespürt. Ein gemeinsamer Embedding-Raum verwandelt eine unmögliche Suche in einen Satz: Beschreiben Sie es, und die passenden Elemente tauchen auf. Das ist auf dem Papier ein kleiner Komfort und in der Praxis ein großer, denn es ist der Unterschied zwischen dem Besitz einer Bibliothek und der Fähigkeit, sie zu nutzen.

Wenn das Muster Bestand hat, wird das nächste Jahr mehr Aufgaben zurück auf das Gerät bringen. Jede einzelne verlagert ein wenig mehr von dem, was derzeit einen Server erfordert, in etwas, das offline funktioniert – in Ihrer Hand, zu Ihren Bedingungen. EmbeddingGemma 2 ist ein Schritt in diese Richtung, und ein leiser. Die leisen sind oft die, die bleiben.