左:以一整個 giraffe 詞元生成的長頸鹿。右:同一個字切成 gi + ra + ff + e 後,生成出世上不存在的斑點動物
giraffe 這個字,以及字典裡所有能放進它的條目與詞元編號:51 種可能的拼法
一個字要花多少詞元:instagram、programmer、dumplings、nurse 各一個,schnitzel 兩個,Kaffee 與 Weimar 三個,一個中文名字九個
「what is tokenization?」被切成詞元編號,每個編號對應到一串 768 個數字
在詞元字典裡沒有自己條目的表情符號;噁心的臉由兩個位元組碎片拼成
以一整個 giraffe(22826)與 gi + ra + ff + e 生成的圖
用遺傳演算法找到的 16 個詞元序列,重建一張海蝕洞照片