Was liest ein Bildgenerator eigentlich? Wir lernen, woraus ein Token-Wörterbuch besteht und wie ein Bildgenerator Sprache versteht, und bauen mit Tokens Bilder, die sich mit keinem Prompt erzeugen lassen.
Ein Bildgenerator liest die Wörter eines Prompts nie. Ein Tokenizer zerlegt sie zuerst in Tokens, Stücke aus einem festen Wörterbuch mit rund 49.000 Einträgen, und das Modell bekommt nur deren Nummern: „what is tokenization?“ kommt als 49406, 768, 533, 32634, 10847, 286, 49407 an. Jede Nummer steht dann für eine Liste aus 768 Werten, ein Embedding, und nur diese Liste erreicht das Modell.
Der Workshop schließt an den Vortrag 51 Ways to Spell the Image Giraffe (39C3) an und öffnet diese Schicht mit einem kleinen Toolkit im Browser. Programmiererfahrung ist nicht nötig.
Was ist ein Token?
Die Teilnehmenden tippen Sätze ein und sehen zu, wie sie zerfallen. Gängige englische Wörter, Markennamen und Hashtags sind einzelne Einträge; „Schnitzel“ braucht zwei Stücke, „Kaffee“ drei, ein chinesischer Name neun rohe Bytes. Viele Emojis haben keinen eigenen Eintrag und werden ebenfalls aus Byte-Fragmenten zusammengesetzt. Für wen das Wörterbuch geschrieben wurde, zeigt sich daran, was jede Sprache kostet.
Das Token-Wörterbuch
Das ganze Wörterbuch lässt sich durchsuchen. In „giraffe“ stecken viele Stücke, die eigene Einträge sind, von gira und ffe bis zu einzelnen Buchstaben, und sie lassen sich auf 51 verschiedene Arten zusammensetzen. Normalerweise wählt der Tokenizer immer dieselbe.
Prompten mit Zahlen
Mit einem Bildgenerator, der so angepasst ist, dass er Token-IDs direkt annimmt (SDXL Turbo), überspringen die Teilnehmenden den Tokenizer und wählen den Schnitt selbst: giraffe als ein Token, als gira + ffe oder als gi + ra + ff + e, jede Schreibweise ein eigener Prompt. Die meisten ergeben noch eine Giraffe, manche ein Tier, das es nicht gibt.
Ein Bild wieder aufbauen
Die letzte Übung geht den umgekehrten Weg: Ausgehend von einem Foto züchtet ein genetischer Algorithmus Folgen aus 16 Tokens, bis CLIP sie nah am Bild findet. Das Ergebnis liest sich wie Rauschen, und doch kann ein Bildgenerator das Foto daraus zurückmalen. Was herauskommt, zeigt, was die Maschine behalten hat und wofür sie nie ein Wort hatte.
Anfragen für Workshops und Vorträge richten Sie bitte per E-Mail an mich.
