以为 1000 字就是 1000 token,跑完真实分词才发现成本低估了 15%

我一直用一个很省事的估算:中文 1 个字约等于 1 到 2 个 token,估成本和上下文长度时按这个算就行。这个习惯让我吃过一次亏——一段我以为"差不多 500 token"的提示词,实际计费时多了不少;更隐蔽的是上下文窗口,按字数估着够用,实际塞进去就超了。

这次不估算了。我装了 tiktoken,用真实分词器把 8 类文本、7 档长度、2 个编码器全跑了一遍。结果比我以为的复杂:常用中文是 1.11 token/字没错,但生僻字能到 2.30;两个编码器对中文的差别高达 46%;还有一组数据我第一版标签写反了,差点把错结论写进文章。

下面所有数字都是真实分词输出,不是模拟。脚本、版本、md5 都在文中,你可以把自己的文本换进去重跑。

一、先说方法:这次是真分词,不是估算

用 Python 3.13 + tiktoken 0.14.0,直接调两个真实编码器:cl100k_base(GPT-4 时代的 BPE)和 o200k_base(GPT-4o 起用的新版)。核心就一行:

import tiktoken
enc_old = tiktoken.get_encoding('cl100k_base')
enc_new = tiktoken.get_encoding('o200k_base')
n = len(enc_old.encode('今天的文本'))   # 真实 token 数,不是估算

之所以 insist 用真实分词器,是因为"1 字 ≈ 1~2 token"这种经验值在不同文本类型下能差出好几倍,而计数脚本本身只要几行——完全没有理由去估。

二、8 类文本的真实 token 数

样本字符数cl100ko200ktoken/字(cl100k)
纯中文2025150.80
中文技术文2421151.14
纯英文5311114.82 字符/token
中文标点1716121.06
代码4715143.13 字符/token
emoji121890.67
数字3010103.00 字符/token
游戏名词(生僻组合)2031200.65

几个第一眼就能看出来的事:

  • 英文和中文完全不是一个量纲。 英文那行我标的是"4.82 字符/token"——53 个字符只占 11 个 token,因为 BPE 会把常见单词整个合成一个 token。中文做不到这一点,多数汉字是 1 个或多个 token,"1 字 ≈ 1 token"对中文才大致成立。
  • emoji 很贵。 12 个字符(6 个汉字 + 3 个 emoji)占了 18 个 token,一个 emoji 常常是 2~4 个 token。表情包式的提示词在 token 上并不便宜。
  • 数字反而是省的。 30 位连续数字只占 10 个 token——BPE 会按 3 位一组切分。这跟很多人的直觉相反。

三、中文长度的倍率:稳定在 1.11 token/字

短文本容易受个例影响,我把同一段中文"大模型应用开发实战"(9 字)重复 1 到 100 次,看倍率稳不稳:

重复次数字符数cl100k token每字 tokeno200k token每字 token
19101.1160.67
545501.11300.67
201802001.111200.67
10090010001.116000.67

倍率完全稳定:cl100k 下中文就是 1.11 token/字,o200k 下是 0.67 token/字。这个数比"1 字 = 1 token"更准,可以直接拿来做粗估——但注意它只对**常用汉字的连续文本**成立,下一节你会看到例外。

四、两个编码器差多少:中文省 27~46%

同一段中文,用两个编码器分别分词:

文本类型cl100ko200k省下
技术文302226.7%
日常文502746.0%
新闻422442.9%
代码注释23224.3%

o200k 对中文的改进非常明显——日常中文能省近一半。但代码注释只省 4.3%,因为代码里大部分是 ASCII,两个编码器处理方式接近。如果你的应用主要是中文对话,换用支持 o200k 的模型,等于凭空多得近一倍的上下文。

OpenAI 在 模型文档里标注了各模型使用的编码器,Hugging Face 的 tokenizer 文档也解释了 BPE 分词的基本原理。选型时值得先确认你用的模型到底走哪套编码器。

五、同样字符数,token 能差好几倍

这组是我觉得最有用的——它解释了你为什么不能只数字符:

文本字符数cl100k tokentoken/字
常用中文16201.25
生僻字(龘靐齉齾…)10232.30
繁体中文16221.38
日文汉字18201.11
半角英文 ABC…Z2610.04
全角英文 ABC…Z26522.00

最后两行是全篇最反直觉的:半角 26 个大写字母连写,只占 1 个 token(BPE 把它当成一个整体词);换成全角,同样 26 个字符变成 52 个 token,差了 52 倍。生僻字也贵——每个汉字被拆成 2 个以上 token。

这里得坦白一个乌龙:我第一版脚本把半角和全角的标签写反了,输出显示"全角 26 字符 = 1 token",我差点照着这个写结论。后来把 token 内容 decode 出来看,才发现真正的 1 token 是那串半角字母。这个错误提醒我:实测数据也要验证方向,不是打印出来就一定是真的——尤其当结果特别反直觉的时候,恰恰最该回头查。

Unicode 官方在 UAX #15 归一化报告里讲了全角/半角字符属于不同的 Unicode 码位。BPE 分词器按码位序列学习,所以视觉上几乎一样的两个字符串,token 数可以差几十倍。做中文应用时,把用户输入的全角字母归一化成半角,既省 token 也更符合直觉。

六、换算成钱:按字数估会低估多少

把最实际的场景算一下。一段 520 字符的中文文章("人工智能技术正在改变世界。"重复 40 次):

  • 真实 token 数:600(1.15 token/字)
  • 按 $2.5 / 百万 token 计,单次成本 = $0.0015
  • 如果按 520 字符当 token 估,算出 $0.0013——低估了 15%

单次看起来很小,但乘以调用量就不一样了:同样这段文本调 1000 次,真实成本 $1.50,按字数估只有 $1.30。如果你的应用每天跑几万次,这个 15% 就是真金白银。更麻烦的是上下文窗口——按字数估着"够用",实际 token 超了,请求直接报错或被截断。

七、给你的操作建议

  1. 别用字数估 token,直接调分词器。 几行代码的事,比经验值准得多。
  2. 中文粗估用 1.11 token/字(cl100k)或 0.67(o200k),但只适用于常用汉字连续文本。
  3. 有生僻字、emoji、全角字符时单独测,这几类能让倍率翻倍。
  4. 选模型前确认它用哪套编码器。 中文为主就优先 o200k 系,能省近一半 token。
  5. 全角输入归一化成半角,尤其用户可能粘贴全角字母的表单场景。
  6. 验证反直觉的结果。 把 token decode 回来看一眼,确认方向没写反。

这套"先跑真实数据再下结论"的思路,和我在《调了半年 temperature 才发现》里做的是一套:参数也好、计量也好,能测就别估。分词这件事看起来基础,但它同时影响成本、上下文长度和模型选型,值得花十分钟测准。提示词怎么写我写在《提示词工程实战》里了,那篇管内容,这篇管计量,配合着看更清楚。

八、边界

  • tiktoken 只覆盖 OpenAI 系模型。 Anthropic、国产大模型各有自己的分词器,倍率不同,本文数字不能直接套用。
  • 编码器版本会变。 本文用 cl100k_base 和 o200k_base,未来出新版本请重跑。
  • 计价是假设值。 $2.5/百万 token 只用于演示换算,请按你用的模型实际价格计算。
  • 短文本受个例影响。 1.11/字是长文本稳定倍率,几个字的短句会有波动。
  • 可复现性已校验。 同参数跑三次结果一致,md5 5229ae1d6bcea2391ea5485d03576af3。

相关推荐

评论(0)
发表评论
▾
安卓、IOS免费上传工具
推荐
安卓、IOS免费上传工具
拖拽上传 IPA 文件,自动解析 Bundle ID、版本号、签名信息、备案公钥等
了解详情 ›
广告