IXThinker·2025-02-14 11:50

一個表情佔53個token 背後藏提示注入風險

一個普通的笑臉表情，竟然佔用多達53個token。AI研究者Karpathy近日在社交平台分享這一發現，帶出Unicode編碼背後的隱形字符問題，這些字符甚至可以用來隱藏數據，或對AI模型進行提示注入。

表情佔token之謎

Karpathy的實驗顯示，簡單一個笑臉表情在分詞後竟佔用53個token，遠超一般預期。箇中原因藏在Unicode編碼之中：部分特殊字符由大量底層字符組成，模型分詞時會拆成一系列看似無意義的片段。