调了半年 temperature 才发现:top_p=0.9 根本不是"固定候选数"
AI我一直把 temperature 和 top_p 当成两个独立的旋钮:temperature 管"创造力",top_p 管"候选范围",各调各的。尤其 top_p=0.9,我理解成"只从最可能的那 90% 里挑",是个固定的安全界限。这个理解用了大半年,直到这次把它量出来才发现是错的。
起因是一个很具体的现象:同一个应用、同一份提示词,我只把 temperature 从 0.7 调到 1.5、top_p 保持 0.9 没动,输出里就开始冒出一些完全不着边际的内容。按我的理解,top_p 没变,候选范围应该没变才对。后来我把采样过程用脚本跑了一遍,答案很清楚——top_p 根本不是固定候选数的旋钮,它切的是"当前概率分布"的累计 90%,而 temperature 会先把这个分布彻底改变。
下面这套模拟我先用本机跑出了结果再写结论。词表、logits、随机种子全部贴在文中,你可以换成自己的场景重跑。
一、实验怎么搭的
不调用真实 API——因为真实模型的 logits 看不见,两组实验也不可控。我用 Python 3.13 构造了一个 20 词的词表:
- 答案A:logits = 3.0,代表"正确答案";
- 近义B/C/D:logits = 2.2 / 1.8 / 1.5,代表"合理但不同的说法";
- 噪声4~19:logits 全 0,代表"不着边际的词"。
采样流程严格按大模型的标准顺序:temperature 缩放 logits → softmax 得概率 → top_p 裁剪 → 按剩余概率采样。每组跑 10000 次,固定随机种子 20261121,统计答案A的概率、近义词合计、噪声率、实际出现过的候选词数、以及分布的熵。
def softmax(logits, temp):
if temp <= 0: # temperature=0 => argmax,完全确定
idx = max(range(len(logits)), key=lambda i: logits[i])
return [1.0 if i == idx else 0.0 for i in range(len(logits))]
scaled = [x / temp for x in logits] # 关键:先缩放,再 softmax
m = max(scaled)
exps = [math.exp(x - m) for x in scaled]
s = sum(exps)
return [e / s for e in exps]
def top_p_filter(probs, p): # nucleus:按概率降序保留到累计 >= p
order = sorted(range(len(probs)), key=lambda i: probs[i], reverse=True)
acc, keep = 0.0, set()
for i in order:
acc += probs[i]
keep.add(i)
if acc >= p:
break
new = [probs[i] if i in keep else 0.0 for i in range(len(probs))]
s = sum(new)
return [x / s for x in new], len(keep) # 注意:裁剪后重新归一化
二、temperature 单独作用:从确定到混乱
top_p 固定 1.0(不裁剪),只动 temperature,10000 次采样的结果:
| temperature | 答案A概率 | 近义合计 | 噪声率 | 有效候选 | 熵(bits) |
|---|---|---|---|---|---|
| 0 | 100.0% | 0.0% | 0.0% | 1 | 0.000 |
| 0.3 | 91.5% | 8.5% | 0.1% | 8 | 0.526 |
| 0.5 | 72.5% | 24.8% | 2.8% | 20 | 1.436 |
| 0.7 | 55.4% | 32.6% | 12.0% | 20 | 2.345 |
| 1.0 | 36.7% | 34.7% | 28.6% | 20 | 3.264 |
| 1.3 | 25.9% | 33.7% | 40.4% | 20 | 3.720 |
| 1.5 | 21.6% | 32.1% | 46.4% | 20 | 3.888 |
| 2.0 | 16.0% | 27.5% | 56.6% | 20 | 4.100 |
这里有两个值得记住的点。第一,temperature=0 是真正的 argmax,候选数只有 1、熵为 0——它是确定性的,不是"随机性很小"。第二,近义词的合计概率在 temperature=1.0 附近达到峰值(34.7%),之后反而下降;temperature 继续升高时,多出来的概率并没有变成"更有创意的合理表达",而是喂给了噪声——噪声率从 0.7 的 12% 一路涨到 2.0 的 56.6%。
也就是说,"提高 temperature 让输出更多样"这句话只对了一半:多样性确实上升,但超过某个点之后,新增的多样性基本都是噪声。OpenAI 在其 文本生成指南里也建议 temperature 和 top_p 二选一调整,而不是同时大改——这次模拟算是给这条建议提供了一个量化的注脚。
三、top_p 单独作用:看起来确实像"固定范围"
temperature 固定 1.0,只动 top_p:
| top_p | 答案A概率 | 近义合计 | 噪声率 | 保留候选 k | 熵(bits) |
|---|---|---|---|---|---|
| 0.5 | 69.2% | 30.8% | 0.0% | 2 | 0.893 |
| 0.7 | 51.5% | 48.5% | 0.0% | 4 | 1.752 |
| 0.8 | 45.4% | 43.5% | 11.1% | 9 | 2.322 |
| 0.9 | 40.1% | 38.3% | 21.7% | 15 | 2.878 |
| 0.95 | 37.9% | 36.0% | 26.0% | 18 | 3.117 |
| 1.0 | 36.7% | 34.7% | 28.6% | 20 | 3.264 |
单看这张表,我以前的理解似乎没错:top_p 越小,保留候选越少,噪声越低,像个固定旋钮。0.5 只留 2 个候选、噪声为 0;0.9 留 15 个、噪声 21.7%。看起来很规律。
但注意一个细节:保留候选 k 从 2 到 20 的变化远不是线性的。top_p 从 0.5 到 0.7,k 只从 2 增到 4;从 0.7 到 0.9,k 却从 4 跳到 15。这是因为 top_p 切的是"累计概率",而概率分布本身是尖峰加长尾的形状——在尖峰附近多切一点,候选数变化不大;一旦切到长尾,候选数会突然膨胀。这也是为什么"top_p=0.9"在不同模型、不同提示词下的实际行为差别很大。
四、真正的坑:两个参数一起调时,top_p 被 temperature 架空
把两个参数叠加,就是我最初遇到的问题。top_p 全程固定 0.9,只改 temperature:
| 组合 | 答案A概率 | 噪声率 | 保留候选 k |
|---|---|---|---|
| temp=0.7, p=0.9 | 61.2% | 2.4% | 7 |
| temp=1.0, p=0.9 | 40.1% | 21.7% | 15 |
| temp=1.3, p=0.9 | 28.3% | 35.7% | 17 |
| temp=1.5, p=0.9 | 23.8% | 41.3% | 17 |
| temp=2.0, p=0.9 | 17.0% | 53.1% | 18 |
| temp=1.5, p=0.7 | 31.4% | 25.1% | 10 |
同一个 top_p=0.9,temperature 从 0.7 升到 2.0,保留候选从 7 个涨到 18 个,噪声率从 2.4% 飙到 53.1%。我以为锁定了候选范围,实际上什么都没锁住。
原因就在执行顺序:temperature 先缩放 logits、改变整个概率分布的形状,top_p 才在这个已经被改变的分布上切累计 90%。temperature 越高,分布越平坦,凑够 90% 累计概率需要的词就越多——于是 top_p 的"裁剪"越来越形同虚设。最后一行更直观:temperature 飙到 1.5 时,把 top_p 从 0.9 收紧到 0.7,噪声率也只从 41.3% 降到 25.1%,远不如把 temperature 降回 0.7 来得有效。
Hugging Face 的 generation strategies 文档把 top_p 定义为"保留累计概率大于等于 p 的最小词集",措辞是准确的,但它默认读者知道"这个概率分布是 temperature 之后的结果"。我读了很多遍都没把这两步串起来,直到亲手把候选数打出来。
五、那到底该怎么调
这次实验之后,我自己的调参顺序改成这样,你可以直接抄:
- 先固定一个,只动另一个。 我习惯先把 top_p 固定 1.0(等于关掉),只扫 temperature,找到"合理多样性和噪声的平衡点"。这份数据里,0.5~0.7 是相对安全的区间:近义词能出来,噪声还在可控范围。
- 确定 temperature 后,再用 top_p 做微调。 注意它对这个 temperature 下的分布才有效——换 temperature 就要重新评估 top_p,不要以为设一次就一劳永逸。
- 要确定性输出就把 temperature 设 0,别指望 top_p。 只要 temperature>0,采样就带随机性;top_p 再小也不能保证每次一样。表格第一行只有 1 个候选、熵为 0,这才是真正的确定性。
- 输出开始"不着边际"时,先降 temperature,再动 top_p。 第四组数据说明,temperature 才是噪声的主要来源,收紧 top_p 是事后补救,效率很低。
- 把分布打出来看,别凭感觉。 哪怕只像我这样用一个 20 词的小词表,把"候选数、噪声率、熵"三列打出来,也比反复改参数试输出快得多。
这套"先量化再调参"的思路,和我在《Prompt Caching 到底省多少钱》里做的是同一件事:对一个所有人都在用的参数,先把它到底改变了什么跑出来,再谈怎么调。提示词写法我另有一篇《提示词工程实战》,那篇管"给模型什么输入",这篇管"模型怎么从候选里挑输出",两件事别混。
六、这套模拟的边界
- 这是我构造的 20 词小词表,不是真实模型。 真实模型词表几万、logits 分布形状也完全不同,文中的具体百分比不能外推到你的模型上。能外推的是方向:temperature 改变分布、top_p 在改变后的分布上裁剪、两者强耦合。
- 没建模重复惩罚、频率惩罚等参数。 presence_penalty / frequency_penalty 会进一步改变分布,本文没纳入。
- 没建模不同厂商的实现差异。 各家对 temperature=0 的处理、top_p 的裁剪细节可能有细微不同,请以你用的服务商文档为准。
- 10000 次采样仍有统计波动。 但固定种子后结果可复现:本次 md5 为
108c1e0f1631e5567610e034dc10b8ee。
最后说回我那个"调了半年"的误解。它不是因为我没看文档——文档写得没错,是我把两句分别正确的话,在脑子里拼成了一个错误的模型。这跟我在《429 限流下重试到底省了什么》里踩的坑是一类:概念上觉得通了,就以为不用验证了。后来发现,凡是能跑成数字的,就别停在"觉得通了"上。