调了半年 temperature 才发现:top_p=0.9 根本不是"固定候选数"

我一直把 temperature 和 top_p 当成两个独立的旋钮:temperature 管"创造力",top_p 管"候选范围",各调各的。尤其 top_p=0.9,我理解成"只从最可能的那 90% 里挑",是个固定的安全界限。这个理解用了大半年,直到这次把它量出来才发现是错的。

起因是一个很具体的现象:同一个应用、同一份提示词,我只把 temperature 从 0.7 调到 1.5、top_p 保持 0.9 没动,输出里就开始冒出一些完全不着边际的内容。按我的理解,top_p 没变,候选范围应该没变才对。后来我把采样过程用脚本跑了一遍,答案很清楚——top_p 根本不是固定候选数的旋钮,它切的是"当前概率分布"的累计 90%,而 temperature 会先把这个分布彻底改变。

下面这套模拟我先用本机跑出了结果再写结论。词表、logits、随机种子全部贴在文中,你可以换成自己的场景重跑。

一、实验怎么搭的

不调用真实 API——因为真实模型的 logits 看不见,两组实验也不可控。我用 Python 3.13 构造了一个 20 词的词表:

  • 答案A:logits = 3.0,代表"正确答案";
  • 近义B/C/D:logits = 2.2 / 1.8 / 1.5,代表"合理但不同的说法";
  • 噪声4~19:logits 全 0,代表"不着边际的词"。

采样流程严格按大模型的标准顺序:temperature 缩放 logits → softmax 得概率 → top_p 裁剪 → 按剩余概率采样。每组跑 10000 次,固定随机种子 20261121,统计答案A的概率、近义词合计、噪声率、实际出现过的候选词数、以及分布的熵。

def softmax(logits, temp):
    if temp <= 0:                       # temperature=0 => argmax,完全确定
        idx = max(range(len(logits)), key=lambda i: logits[i])
        return [1.0 if i == idx else 0.0 for i in range(len(logits))]
    scaled = [x / temp for x in logits]  # 关键:先缩放,再 softmax
    m = max(scaled)
    exps = [math.exp(x - m) for x in scaled]
    s = sum(exps)
    return [e / s for e in exps]

def top_p_filter(probs, p):              # nucleus:按概率降序保留到累计 >= p
    order = sorted(range(len(probs)), key=lambda i: probs[i], reverse=True)
    acc, keep = 0.0, set()
    for i in order:
        acc += probs[i]
        keep.add(i)
        if acc >= p:
            break
    new = [probs[i] if i in keep else 0.0 for i in range(len(probs))]
    s = sum(new)
    return [x / s for x in new], len(keep)   # 注意:裁剪后重新归一化

二、temperature 单独作用:从确定到混乱

top_p 固定 1.0(不裁剪),只动 temperature,10000 次采样的结果:

temperature答案A概率近义合计噪声率有效候选熵(bits)
0100.0%0.0%0.0%10.000
0.391.5%8.5%0.1%80.526
0.572.5%24.8%2.8%201.436
0.755.4%32.6%12.0%202.345
1.036.7%34.7%28.6%203.264
1.325.9%33.7%40.4%203.720
1.521.6%32.1%46.4%203.888
2.016.0%27.5%56.6%204.100

这里有两个值得记住的点。第一,temperature=0 是真正的 argmax,候选数只有 1、熵为 0——它是确定性的,不是"随机性很小"。第二,近义词的合计概率在 temperature=1.0 附近达到峰值(34.7%),之后反而下降;temperature 继续升高时,多出来的概率并没有变成"更有创意的合理表达",而是喂给了噪声——噪声率从 0.7 的 12% 一路涨到 2.0 的 56.6%。

也就是说,"提高 temperature 让输出更多样"这句话只对了一半:多样性确实上升,但超过某个点之后,新增的多样性基本都是噪声。OpenAI 在其 文本生成指南里也建议 temperature 和 top_p 二选一调整,而不是同时大改——这次模拟算是给这条建议提供了一个量化的注脚。

三、top_p 单独作用:看起来确实像"固定范围"

temperature 固定 1.0,只动 top_p:

top_p答案A概率近义合计噪声率保留候选 k熵(bits)
0.569.2%30.8%0.0%20.893
0.751.5%48.5%0.0%41.752
0.845.4%43.5%11.1%92.322
0.940.1%38.3%21.7%152.878
0.9537.9%36.0%26.0%183.117
1.036.7%34.7%28.6%203.264

单看这张表,我以前的理解似乎没错:top_p 越小,保留候选越少,噪声越低,像个固定旋钮。0.5 只留 2 个候选、噪声为 0;0.9 留 15 个、噪声 21.7%。看起来很规律。

但注意一个细节:保留候选 k 从 2 到 20 的变化远不是线性的。top_p 从 0.5 到 0.7,k 只从 2 增到 4;从 0.7 到 0.9,k 却从 4 跳到 15。这是因为 top_p 切的是"累计概率",而概率分布本身是尖峰加长尾的形状——在尖峰附近多切一点,候选数变化不大;一旦切到长尾,候选数会突然膨胀。这也是为什么"top_p=0.9"在不同模型、不同提示词下的实际行为差别很大。

四、真正的坑:两个参数一起调时,top_p 被 temperature 架空

把两个参数叠加,就是我最初遇到的问题。top_p 全程固定 0.9,只改 temperature:

组合答案A概率噪声率保留候选 k
temp=0.7, p=0.961.2%2.4%7
temp=1.0, p=0.940.1%21.7%15
temp=1.3, p=0.928.3%35.7%17
temp=1.5, p=0.923.8%41.3%17
temp=2.0, p=0.917.0%53.1%18
temp=1.5, p=0.731.4%25.1%10

同一个 top_p=0.9,temperature 从 0.7 升到 2.0,保留候选从 7 个涨到 18 个,噪声率从 2.4% 飙到 53.1%。我以为锁定了候选范围,实际上什么都没锁住。

原因就在执行顺序:temperature 先缩放 logits、改变整个概率分布的形状,top_p 才在这个已经被改变的分布上切累计 90%。temperature 越高,分布越平坦,凑够 90% 累计概率需要的词就越多——于是 top_p 的"裁剪"越来越形同虚设。最后一行更直观:temperature 飙到 1.5 时,把 top_p 从 0.9 收紧到 0.7,噪声率也只从 41.3% 降到 25.1%,远不如把 temperature 降回 0.7 来得有效。

Hugging Face 的 generation strategies 文档把 top_p 定义为"保留累计概率大于等于 p 的最小词集",措辞是准确的,但它默认读者知道"这个概率分布是 temperature 之后的结果"。我读了很多遍都没把这两步串起来,直到亲手把候选数打出来。

五、那到底该怎么调

这次实验之后,我自己的调参顺序改成这样,你可以直接抄:

  1. 先固定一个,只动另一个。 我习惯先把 top_p 固定 1.0(等于关掉),只扫 temperature,找到"合理多样性和噪声的平衡点"。这份数据里,0.5~0.7 是相对安全的区间:近义词能出来,噪声还在可控范围。
  2. 确定 temperature 后,再用 top_p 做微调。 注意它对这个 temperature 下的分布才有效——换 temperature 就要重新评估 top_p,不要以为设一次就一劳永逸。
  3. 要确定性输出就把 temperature 设 0,别指望 top_p。 只要 temperature>0,采样就带随机性;top_p 再小也不能保证每次一样。表格第一行只有 1 个候选、熵为 0,这才是真正的确定性。
  4. 输出开始"不着边际"时,先降 temperature,再动 top_p。 第四组数据说明,temperature 才是噪声的主要来源,收紧 top_p 是事后补救,效率很低。
  5. 把分布打出来看,别凭感觉。 哪怕只像我这样用一个 20 词的小词表,把"候选数、噪声率、熵"三列打出来,也比反复改参数试输出快得多。

这套"先量化再调参"的思路,和我在《Prompt Caching 到底省多少钱》里做的是同一件事:对一个所有人都在用的参数,先把它到底改变了什么跑出来,再谈怎么调。提示词写法我另有一篇《提示词工程实战》,那篇管"给模型什么输入",这篇管"模型怎么从候选里挑输出",两件事别混。

六、这套模拟的边界

  • 这是我构造的 20 词小词表,不是真实模型。 真实模型词表几万、logits 分布形状也完全不同,文中的具体百分比不能外推到你的模型上。能外推的是方向:temperature 改变分布、top_p 在改变后的分布上裁剪、两者强耦合。
  • 没建模重复惩罚、频率惩罚等参数。 presence_penalty / frequency_penalty 会进一步改变分布,本文没纳入。
  • 没建模不同厂商的实现差异。 各家对 temperature=0 的处理、top_p 的裁剪细节可能有细微不同,请以你用的服务商文档为准。
  • 10000 次采样仍有统计波动。 但固定种子后结果可复现:本次 md5 为 108c1e0f1631e5567610e034dc10b8ee。

最后说回我那个"调了半年"的误解。它不是因为我没看文档——文档写得没错,是我把两句分别正确的话,在脑子里拼成了一个错误的模型。这跟我在《429 限流下重试到底省了什么》里踩的坑是一类:概念上觉得通了,就以为不用验证了。后来发现,凡是能跑成数字的,就别停在"觉得通了"上。

相关推荐

评论(0)
发表评论
▾
安卓、IOS免费上传工具
推荐
安卓、IOS免费上传工具
拖拽上传 IPA 文件,自动解析 Bundle ID、版本号、签名信息、备案公钥等
了解详情 ›
广告