Zeichne es, und es erscheint: Scribble-to-Object-Bearbeitung wird erwachsen

Irgendwo auf Hugging Face zeigte Anfang Oktober eine kleine Forschungsveröffentlichung leise, wohin die Bildbearbeitung steuert. Ein Team bei ML-Intern-lab veröffentlichte eine LoRA für Alibabas Qwen-Image-2.1 namens Doodle-in. Man nimmt ein Foto, zeichnet ein grobes magenta Gekritzel über den Bereich, den man ändern möchte, benennt das Objekt, und das Modell ersetzt alles, was unter dem Gekritzel liegt, während es die Beleuchtung und den Rest der Szene intakt lässt. Es wurde auf etwas mehr als 6.000 Paaren trainiert, die aus Open Images V7 erstellt wurden.

Es ist ein Nischenwerkzeug mit einem wenig glamourösen Namen. Es ist außerdem ein sauberes Beispiel für den Wandel, der sich das ganze Jahr über aufgebaut hat: Der interessante Teil der Bild-KI ist nicht mehr die Generierung, sondern die Bearbeitung.

Die eigentliche Arbeit war nie das erste Bild

Fragen Sie jemanden, der beruflich mit Bildmodellen arbeitet, womit er tatsächlich seine Zeit verbringt. Die Antwort ist selten der erste Render. Es ist die zweite, dritte und zwölfte Überarbeitung. Ändern Sie das Etikett auf der Flasche. Behalten Sie das Gesicht der Person. Verschieben Sie das Produkt zwei Zoll nach links, ohne den Schatten zu verändern. Setzen Sie die Jacke auf einen anderen Hintergrund, ohne den Kragen anzufassen.

Diese Bearbeitungen sind der Grund, warum ein Generator, der ein schönes Bild erzeugt, nicht dasselbe ist wie ein Werkzeug, das ein Designer weitergeben kann. Die Lücke ist Kontrolle, und der gesamte Markt hat sich darum herum neu organisiert. OpenAI teilte sein Flaggschiff-Bildmodell in eine schnelle Stufe und eine präzise Stufe auf und bewarb die präzise für Bearbeitungen, die ein Gesicht, ein Etikett oder ein Layout exakt erhalten. Seedreams Pro-Modell legte Wert darauf, ein Element zu bearbeiten und den Rest des Bildes unverändert zu lassen. Ideogram 4.5 wurde um das spezifische Problem herum entwickelt, dass sich nach wiederholten Bearbeitungen Artefakte ansammeln. Groks Bildmodell fasste seinen gesamten Ansatz als „Bearbeitung ist die eigentliche Arbeit“ zusammen.

Warum ein Gekritzel einen Absatz schlägt

Eine lokale Bearbeitung in Worten zu beschreiben ist schwieriger, als es aussieht. „Ändere die Pflanze auf dem linken Regal in etwas Kleineres“ lädt das Modell dazu ein, die gesamte linke Seite neu zu interpretieren, die Beleuchtung anzupassen oder das Regal still und leise neu zu rendern. Je präziser Sie in der Sprache sein wollen, desto mehr Angriffsfläche schaffen Sie für das Modell, etwas zu ändern, das Sie nicht erwähnt haben.

Ein Gekritzel beseitigt diese Mehrdeutigkeit. Es zeigt. Der Bereich wird gezeichnet, das Objekt benannt, und die Anweisung reduziert sich auf zwei Eingaben statt auf einen Absatz. Deshalb verbreitet sich die Technik, obwohl die Umsetzung fummelig ist. Sie borgt sich die älteste Interaktion in der visuellen Arbeit aus, die Hand, und setzt sie dort ein, wo Sprache schlecht passt.

Der praktische Fall, besonders für Produkte

Regionale Bearbeitung ist am wichtigsten, wo wiederholt wird. Ein Produktkatalog braucht denselben Artikel in Dutzenden Kontexten, jeweils mit konsistenter Beleuchtung und konsistenten Materialien. Eine Agentur, die eine Kampagne anpasst, braucht ein Hero-Bild, das pro Markt angepasst wird, ohne neu zu shooten. Ein Indie-Designer muss ein Layout iterieren können, ohne die Teile neu zu generieren, die bereits richtig waren.

In jedem Fall ist der Wert nicht Kreativität. Es ist, nicht von vorn anfangen zu müssen. Genau das ist die Art von Wert, die keine gute Demo abgibt und sich im Budget niederschlägt.

Das Muster ist bemerkenswert, weil es dem widerspricht, wie die meisten Menschen diese Werkzeuge zuerst kennenlernen. Anfänger schreiben lange Prompts und hoffen. Menschen, die das beruflich machen, schreiben kurze Anweisungen und zeigen, weil sie gelernt haben: Je weniger Dinge man das Modell ändern lässt, desto weniger Dinge ändert es, die man nicht wollte. Ein Gekritzel ist diese Gewohnheit, in eine Schnittstelle verwandelt, und deshalb fühlt es sich weniger wie ein Feature an und mehr wie ein Eingeständnis, wie die Arbeit schon immer gemacht wurde.

Die Werkzeuge, die das richtig hinbekommen, verschwinden tendenziell im Prozess. Niemand beschreibt seinen Tag damit, dass er einen regionalen Editor benutzt hat. Man sagt, man habe das Etikett korrigiert und die Charge ausgeliefert. Wenn ein Bearbeitungswerkzeug diesen Punkt erreicht, hat es seine Aufgabe erfüllt, und die Tatsache, dass eine Forschungs-LoRA mit einem sperrigen Namen dazu beigetragen hat, ist der am wenigsten interessante Teil der Geschichte.

Was die Technik sonst noch impliziert

Ein Gekritzel ist eine Eingabe unter mehreren, und die interessante Frage ist, welche eine bestimmte Aufgabe braucht. Wenn die Änderung räumlich und lokal ist, schlägt Zeigen das Beschreiben. Wenn die Änderung stilistisch und global ist, schlägt ein Referenzbild beides, weshalb so viel Fortschritt des Jahres darin bestand, Modelle mit mehr Referenzen statt mit längeren Prompts zu füttern. Wenn die Änderung subtil ist und das ganze Bild stabil bleiben muss, gewinnen eine Maske plus eine präzise Anweisung weiterhin. Die Fähigkeit ist nicht, eine davon zu meistern. Es ist zu wissen, welche passt.

Es gibt auch einen tieferen Punkt darüber, wie Menschen und Modelle Arbeit aufteilen. Das Modell ist gut darin, ein plausibles Bild zu erzeugen, und schlecht darin zu wissen, welches Bild korrekt ist. Ein Gekritzel erlaubt es einem Menschen, den Teil beizusteuern, den das Modell nicht ableiten kann, nämlich die Absicht, und überlässt dem Modell den Teil, in dem es gut ist, nämlich die Synthese. Diese Aufteilung ist der Grund, warum sich die Technik fast sofort natürlich anfühlt. Sie ist keine neue Schnittstelle. Sie ist eine alte, die Hand, angewendet dort, wo Sprache immer wieder versagte.

Dieselbe Logik zeigt sich in den in diesem Jahr veröffentlichten Werkzeugen. Magnific One fügte aus genau diesem Grund einen Art-Direction-Schritt vor der Generierung hinzu: Die Richtung zu bestimmen ist ein menschlicher Akt, und sie im Voraus festzulegen erspart dem Modell das Raten. Ein Gekritzel ist dieselbe Idee im Maßstab von ein paar hundert Pixeln.

Ein kurzer Feldführer zu Bearbeitungswerkzeugen

Wenn Sie auswählen, was Sie für eine bestimmte Bearbeitung verwenden, hilft eine grobe Reihenfolge. Für eine lokale Änderung, bei der Sie auf den Bereich zeigen können, verwenden Sie ein Gekritzel- oder Maskenwerkzeug: Es ist die am wenigsten mehrdeutige Anweisung, die Sie geben können. Für eine globale Änderung von Stimmung, Beleuchtung oder Stil verwenden Sie ein Referenzbild und lassen das Modell es nachahmen. Für eine Änderung, die nichts anderes stören darf, suchen Sie Werkzeuge, die Konsistenz über wiederholte Bearbeitungen hinweg versprechen, denn das ist die Eigenschaft, die Sie brauchen, und diejenige, in der die meisten Werkzeuge am schwächsten sind. Und für alles, was zu einem Kunden geht, klären Sie die Lizenzfrage, bevor Sie sich in das Ergebnis verlieben.

Die Punkte, bei denen man ehrlich bleiben muss

Scribble-to-Object-Bearbeitung ist keine Magie, und die Fehlermodi sind vorhersehbar. Verdeckung ist der schwierige Fall. Wenn das Objekt, das Sie ändern möchten, hinter etwas anderem liegt oder teilweise verborgen ist, muss das Modell sich die fehlenden Teile vorstellen, und manchmal stellt es sie falsch vor. Wiederholte Bearbeitungen driften weiterhin, weshalb mehrere Labore Fixes veröffentlicht haben, die darauf abzielen, die unberührten Pixel stabil zu halten.

Es gibt außerdem eine Lizenzfeinheit, die es zu prüfen lohnt. Qwen-Image-2.1 wurde unter einer forschungsorientierten Lizenz veröffentlicht, und Community-Fine-Tunes erben alle Einschränkungen, die ihr Basismodell mit sich bringt. Für persönliche Experimente ist das in Ordnung. Für kommerzielle Arbeit ist es die Art von Detail, die geklärt werden sollte, bevor ein Kundenprojekt davon abhängt, nicht danach.

Was Sie mitnehmen sollten

Wenn Sie Bildmodelle in der realen Arbeit einsetzen, ist die Fähigkeit, die es aufzubauen lohnt, nicht das Prompting. Es ist die Zerlegung: zu entscheiden, welche Teile eines Bildes eingefroren bleiben und welche sich ändern sollen, und dann das leichteste Werkzeug zu wählen, das nur diese Teile ändert. Manchmal ist das eine lokale Bearbeitung per Gekritzel. Manchmal ist es eine Maske, ein Referenzbild oder ein spezialisierter Editor.

Doodle-in ist eine Forschungs-LoRA, und sie mag nächsten Monat vergessen sein. Die Richtung, auf die sie zeigt, wird es nicht sein. Die Werkzeuge, die das nächste Jahr der Bildarbeit gewinnen, werden danach beurteilt, wie gut sie alles, wonach Sie nicht gefragt haben, genau so lassen, wie es war.