RAG 答非所问排查:从切分到重排的六个原因
AI先给结论:RAG 答错,先分清是「没搜到对的段落」还是「搜到了却没用好」——前者出在切分、Embedding 模型、top_k、重排,后者出在提示词没约束住模型。还有一类最容易忽略:文档里压根没有这个答案,模型只好编。按下面的对照表定位,再用第六节的代码把召回片段打出来,问题基本当场现形。
一、先做一次「召回自检」
别急着调模型,先把检索那一步单独跑一遍,看它到底捞回了什么:
- 召回片段里根本没有答案 → 问题在检索(第一~四类)。
- 召回片段里有答案,模型却答错 → 问题在生成(第五类,提示词或上下文)。
- 哪儿都找不到相关内容 → 第六类,文档本身没覆盖。
这一分岔能避免「明明是切分问题,却去换更贵的模型」这种白忙。
二、六个原因对照表
| 现象 | 原因 | 处理 |
|---|---|---|
| 相关段落总被切开 | 按固定字数硬切,语义断在半句 | 按语义段/标题切,300~800 字试起(D13) |
| 同义说法搜不到 | Embedding 模型不适配中文或领域 | 换支持中文的成熟 Embedding 模型 |
| 答案在第 4、5 条没被用上 | top_k 太小,或初检排序不准 | 调大 top_k,再加一层 rerank(D13) |
| 初检第一名其实不相关 | 纯向量近似检索排序有偏 | 加重排模型,或混合关键词检索 |
| 片段对了但模型胡说 | 提示词没写「仅基于检索段落回答」 | 补约束 + 「不确定就说不知道」(D12) |
| 怎么调都答不出 | 文档里压根没有该信息 | 补文档,别怪检索;明确告知无依据 |
三、原因 1~2:切分与 Embedding
D13 讲过,向量是「一段文本的平均语义」。一段塞进整篇文档,语义被平均糊掉;按固定字数硬切,又常把答案切成两半。优先按标题、段落等语义边界切,长度从 300~800 字试起,观察召回质量再调。
中文和英文的语义空间不同,用只适配英文的 Embedding 模型,「退款」和「退钱」未必能靠近。选明确支持中文的成熟模型,别自己从头训。
四、原因 3~4:top_k 与重排
top_k 太小,真正含答案的段落可能排在第 4 条直接被丢掉;调大又会把噪声一起喂给模型。常见做法是初检多取一些(如 10 条),再用 rerank 精排出前 3 条。纯向量近似检索的排序本来就有偏,重排这一层往往比换库更立竿见影。
五、原因 5~6:提示词约束与文档缺口
- 片段对了模型还胡说:提示词没框住它。按 D12 的五件套,加约束「仅基于下面检索到的段落回答,段落外的内容一律说不知道」,幻觉能压下一大半。
- 文档根本没有答案:这不是技术故障。要么补文档,要么让系统明确回「知识库中未查到依据」,别让模型自由发挥圆一个答案。
六、召回自检代码(把捞回什么打出来)
def rag_debug(question, top_k=5):
q_vec = model.encode(question)
hits = index.search(q_vec, top_k=top_k) # 初检,先取宽一点
for i, h in enumerate(hits):
print("第", i, "条 相似度:", round(h.score, 3), "原文:", h.text[:120])
# 人工看:答案在不在里面?在第几条?
kept = rerank(question, hits)[:3] # 精排后只留 3 条
prompt = "仅基于以下段落回答,段落外的一律说不知道:\n" + \
"\n".join(k.text for k in kept)
return llm(prompt + "\n问题:" + question)
关键就一句:先把召回片段和相似度打出来,用眼睛确认答案在不在里面、排第几。在,就是生成层(提示词)的事;不在,就是检索层(切分 / 模型 / top_k / 重排)的事。这一步能省掉大量无效调参。
七、FAQ
Q:切分是不是越细越好? 不是。太细会丢上下文,答案被拆得七零八落。按语义段切、保留一点重叠,再从 300~800 字区间实测调整。
Q:一定要上 rerank 吗? 不强制。文档少、问题简单时纯向量初检够用;一旦出现「第一名不相关、答案在后面」的情况,重排性价比最高。
Q:D7 的 OpenClaw 知识库也适用吗? 适用。D7 是操作篇,本文是它出问题时的排查篇。切分、top_k、提示词约束这几处,在平台里同样有对应配置项可调。
小结
RAG 答非所问,先用召回自检把问题分成「没搜到」和「搜到了没用好」两半:前者查切分、Embedding、top_k、重排,后者补提示词约束,最后别忘了「文档里根本没有答案」这种可能。最有效的一步往往不是换模型,而是把召回片段打出来亲眼看一眼。配合 D12 的提示词约束和 D13 的向量原理,绝大多数答错都能定位。具体切分策略、模型维度与重排方案以你所用平台当天官方文档为准。