跳到主要内容

运营与审计

上线以后,管理员要回答几个问题:大家用得怎么样、哪些问题没答好、花了多少钱、谁动过什么。这些都在空间的「管理后台」→「运营」里,只有所有者和管理员能看。

问答大盘​

一页看清这段时间智能助手用得怎么样:

  • 四个核心数:提问轮数、提问人数、完成率、估算费用,各和上一段同样长的时间比较,附每天的趋势;
  • 需要关注的:失败、取消、被点踩、检索了知识库却没引用的轮次;
  • 按工具、按知识库切分:哪个知识库被查得最多、哪个答上率低。

问答大盘:提问量、完成率、需要关注的轮次,按工具与知识库切分

每个数字都能点进去,直接跳到运行记录里对应的那几轮,筛选条件已经带好。

估算费用来自模型里填的单价,没填单价的模型不计入。

运行记录​

全空间每一轮问答按时间列出:谁问的、问了什么、状态、耗时、检索了几次、引用了几条、有没有被点赞或点踩。

可以按时间段(最近一天到 90 天)、成员、状态筛选,也可以按信号筛:

信号用来发现
检索了没引用查了知识库但一条都没用上,多半是没找到对的内容
被点踩员工不满意的回答
没答上来回合结束后判断知识库没答上,和知识缺口是同一个判断

点开一轮看运行详情:每一步做了什么、调用了哪些工具、模型用了多少 token。知识库检索还能展开看到这次检索是怎么查的:补了哪些同义词、各路召回了哪些片段、重排后留下了哪些。排查「为什么答错了」时,从这里能看出问题出在检索还是出在回答。

筛选条件都写在链接里,复制链接发给同事,打开就是同样的筛选结果。

隐私

管理员查看、导出别人的运行记录会记入审计日志。普通成员在「运行详情」里只能看自己的。

用量​

按成员、按模型、按天统计模型调用的次数、token 数和估算费用。目前不能按人或部门设置额度,控制成本靠定期看这一页。

每个人也能在「个人设置」→「我的用量」里看自己的。

审计​

谁在什么时候做了什么、结果如何:登录、成员与授权变更、知识库与文档操作、查看别人的运行记录等。可以按人员类型、结果、动作筛选。审计日志默认保留 90 天。

后台任务​

系统管理员在「运行面板」里能看到全平台后台任务(文档解析、嵌入、自动抽取、多跳检索入库等)的排队、执行情况和 worker 心跳。文档长时间停在「排队中」时,先来这里看 worker 是否在线、队列是否堆积。