Skip to main content

检索与检索测试

一次检索做了什么​

员工提问后,智能助手会自己决定查哪些知识库、用什么词查。每次检索:

  1. 补同义词:按全公司和本库的同义词把问题里的说法补全;
  2. 两路召回:语义检索(按意思找)和关键词检索(按字面找)同时查,结果合并;开了多跳检索、视觉检索的库再各多一路;
  3. 重排:配了重排序模型时,按与问题的相关程度重新排一遍,低于阈值的丢掉;
  4. 整理片段:同一份文档里相邻的命中合并成一段,去掉重复内容,交给智能助手。

智能助手拿到片段后,觉得只看到一部分(比如一条规定只命中了开头),会接着读命中处前后或那一节,读全了再答,回答里标注出处。

检索设置​

知识库「设置」→「解析与检索」里的「检索」一节:

设置说明
嵌入模型语义检索用的向量模型。已经建了索引再换,要整库重建索引
重排模型可选。配了以后按重排分过滤,排序更准;多一次模型调用
重排阈值0 到 1,越高留下的片段越少。默认 0.2;答案里常混进无关片段时调高,常找不到时调低

同一节上面的「解析」只对之后解析的文档生效,已经解析好的要重新解析:

设置说明
分块方式见创建知识库
图片理解解析图片,并用看图模型给没有描述的图补中文描述,图里的内容也能被检索到
结构增强部署了结构增强服务才有,默认开,见可选服务

检索测试​

「检索测试」页和对话走的是同一条检索。输入一个问题,就能看到会命中哪些片段,用来回答「为什么这个问题答不对」。

检索测试:命中的片段、召回名次,多跳检索找到的标着「多跳」

每条结果显示:

  • 来自哪份文档、哪个章节;
  • 召回第几名、重排分;
  • 标记「多跳」「视觉」的,是那两路额外找到的。

框里可以切换检索方式(混合检索、语义检索、关键词检索)。打开「看两路的分」,会另外显示语义和关键词各自的分,方便判断问题出在哪一路。

答不准时怎么排查​

现象多半是怎么办
检索测试里根本没有正确的那段说法对不上加同义词;或者检查文档是否解析成功、那一段有没有被停用
关键词能找到、语义找不到嵌入模型对专业词汇不熟加同义词;换一个更合适的向量模型
正确的片段排在很后面没配重排,或阈值太高被过滤配重排序模型;适当调低重排阈值
命中了但内容不全分块太碎换「按章节」或「父子块」分块,重新解析
表格、扫描件里的内容找不到解析质量到「分块与解析结果」里核对 OCR,逐块修正;图表多的库考虑视觉检索
旧制度的内容被引用新旧版本并存用「上传新版本」或确认系统识别出的新旧版本,见文档管理

管理员还可以在「运行记录」里打开某一轮对话,看智能助手实际是怎么查的:用了哪些同义词、每一路召回了什么、重排后留下了什么,见运营与审计。