评价分析
评价查询、效果评价分析(聚合口径与 PDF 报告)、评价提醒配置、未评价提醒批量机制、评价设置。
评价分析模块构成"用户评价 → 明细沉淀 → 周期量化分析 → 提醒回收 → 参数配置“的闭环,覆盖小查、小审、小核、小问及审查报告生成的评价数据。
1. 评价查询
面向评价分析管理员与业务用户,对用户在各智能体会话中提交的逐条评价记录做明细查询与详情查看。
- 查询条件:功能(小查/小审/小核/小问)、评价等级、评分范围(0–100 闭区间)、反馈原因、评价人(精确匹配)、评价机构(机构树搜索选择器单选,按名称精确匹配)、评价时间区间;按评价时间倒序分页。
- 列表列:评价时间、评价人、评价机构、功能、评价对象、评分、等级(彩色标签,颜色取自评价等级配置)。
- 评价详情:基础信息(评价时间、评价人、机构、功能、评价对象、任务编号、评分徽章、等级标签)+ 反馈区(反馈原因标签列表[无则"未选择”]、补充说明[无则"无"]、上传截图缩略图网格可预览大图)。
- 返回列表保留筛选与分页位置。
2. 效果评价分析
面向评价分析管理员,对信贷智能体服务效果做周期性量化分析。
- 主流程:分析列表(新增/查看/PDF 下载)→ 新增分析(配置统计周期、功能维度[知识库/审查意见/智能问答/风险识别,可多选]、功能类型[全部/试用/非试用]、评分范围、评价最多用户数 1–50 默认 10)→ 系统聚合生成报告 → 详情查看 → PDF 预览与下载。
- 执行机制:创建接口同步落库(状态=已提交)立即返回;异步聚合(按统计周期+功能维度+功能类型+评分范围过滤 → 聚合核心指标、等级分布、反馈原因统计、四维分组统计 → 落库 → 生成 PDF → 状态"已完成")。状态非实时推送,重新拉取列表/详情时更新。
- 聚合口径:评价参与率 = 产生评价的对话数 ÷ 服务对话数 ×100%;评分平均值 = Σ评分 ÷ 评价数;评分中位数 = 升序取中位(偶数取中间两数均值);评价数 = 满足筛选条件的评价记录计数。
- 分析详情:核心指标概览(服务对话数、评价参与率、评分平均值/中位数)+ 图形化分析(评价等级分布环形图[超出预期/优秀/合格/不及格]、反馈原因词云[没说清楚/回答错误/溯源错误/答非所问/异常报错/其他])+ 分维度评价分析(用户/角色/机构/功能四维分组表:参与率/平均分/中位数/评价数)。
- PDF 报告:仅"已完成"可下载;下载接口后端再次校验任务状态与权限。
3. 评价提醒配置
管理未评价 AI 结果批量提醒参数;保存即时生效,次日批量程序按新配置执行。
| 参数 | 取值/默认 |
|---|---|
| 每日批量开始时间 | HH:mm,默认 08:00 |
| 各 AI 功能提醒启停 | 功能:小查/小审/小核/小问/审查报告生成;AI 类型(任务式/对话式)只读;默认启用 |
| 最大提醒天数 | 1–30 整数,默认 7;超过此天数的未评价不再提醒;关闭提醒时禁用 |
4. 未评价提醒
批量后台程序,无前端界面。每日按配置时间执行一次:
- 读取评价提醒配置(各功能启停、最大提醒天数)。
- 任务式 AI 功能:扫描已完成且评价状态"未评价"、完成时间在最大提醒天数(含)以内的任务;对话式(小问):扫描配置天数内有对话的会话,会话中存在任一未评价 AI 回答即视为整任务未评价。
- 将待提醒记录写入提醒文件(用户标识、提醒标题、提醒内容、链接 URL),上传至影像平台约定目录;门户定时轮询获取并处理为门户提醒。
- 链接规则:任务式→运行列表对应任务详情页(携带任务编号);对话式→小问对话主页面并定位指定会话(现状简化浮层不支持深链,降级为仅打开对话面板)。
- 已发送提醒的任务/会话标记"已提醒"避免重复;批量程序记录执行日志(起止时间、发送/跳过/失败条数);文件生成或上传失败按重试机制处理,不阻塞后续批次。
5. 评价设置
维护评分等级标准与预设反馈原因两项基础配置,保存即时生效。
- 评分等级标准(0–100 须连续覆盖、互不重叠):每行含最低分/最高分(0–100 整数)、等级名称、编码(同级唯一)、颜色(默认蓝色)、弹出反馈开关(默认开)、必填说明开关(默认关)。保存校验:至少一个等级;编码名称非空;区间合法(最低 ≤ 最高);编码不重复;按最低分升序后首段最低分为 0、末段最高分为 100、相邻区间无缝衔接(上一段最高分 +1 = 下一段最低分)。
- 预设反馈原因:原因名称、编码(唯一)、启用开关(默认开;关闭后评价录入下拉不展示)。保存校验非空与编码唯一。
- 保存成功后按最低分降序排列等级(高分在前);接口异常或无数据时回退内置默认配置。
6. 本章关联文档
- 评价录入入口与要素:03 悬浮按钮与任务管理 §3、§4
- 提醒文件经影像平台送达门户:09 对外交互方案 场景 10
- 下一章:09 对外交互方案