向量检索的效果很容易被个别案例误导。试用时挑几个问题,看起来都很准;上线后用户换个问法,结果就完全偏离。要判断一套检索方案是否可靠,需要可重复的评估集和明确的指标。

一、先构建小而真实的评估集

从真实问题里抽样,通常 50 到 200 条就足够发现明显问题。每条包含:用户问题、标准答案、应该被召回的知识片段。不要只用产品文档里的标题当问题,真实用户会省略主语、使用同义词,甚至带着错误前提提问。