IXThinker·2025-02-15 00:40

emoji佔53個token 揭字符編碼玄機

一個簡單的笑臉emoji，竟然佔用53個token？Karpathy最近在社交平台分享這一有趣現象，並揭開背後Unicode編碼與隱藏字符的秘密：數字世界的文字，遠不像表面看來那麼簡單。

emoji佔用之謎

Karpathy在X上拋出一個問題：為什麼一個簡單的笑臉表情，要佔用多達53個token？答案並不直觀，背後隱藏着Unicode與隱藏字符的秘密，文字的編碼並非看上去那麼簡單。