AI客服解决率应回答“受理的问题中,有多少已经有证据证明解决”,而不是“多少聊天窗口没有转人工”。先按客户问题建立任务,再固定分母、解决标准和观察窗口。客户离开、转人工、仍在处理,都不能为了让报表好看而从有效任务中删掉;只有证据达到标准,才进入相应解决分子。
Sierra的Pendulum公开案例提到,旧系统的部分表面拦截其实是客户在问题未解决时放弃对话。这是厂商客户自述,不能证明所有客服系统都如此,但很适合提醒我们:没有继续聊天,不等于事情已经办成。
先确定数的是问题,不是聊天窗口
一位客户在网页问订单,随后打电话追问,同一问题可能产生两段会话。若按窗口计数,既可能重复计算一个问题,也可能把第一段离开算成AI解决、第二段算成人工新任务。
建议记录任务编号、业务对象、问题类别、各次接触和结果证据。归并须在权限允许范围内,无法确认属于同一任务就标待核,不仅凭同名客户或同一订单强行合并。同一订单的改地址与开发票可能是两个不同问题。
统计入口应预先定义有效任务及排除项,例如内部测试、空白请求和明确垃圾信息;排除原因留记录,不在看到处理结果后再调整。
同一截止点,五种当前状态
| 当前状态 | 最低判定依据 | 在总体指标中的位置 |
|---|---|---|
| AI独立解决 | 按约定验收标准,有可核查的完成证据,且本任务无人工审批、接管或补充处理 | 计入AI独立解决分子及总体解决分子 |
| 人工参与解决 | 人工接管或必要人工处理后,有完成证据 | 只计入总体解决分子 |
| 结果不明 | 已有答复或客户离开,但证据不足以判断 | 留在分母,单列待核,不计解决分子 |
| 已确认未解决 | 明确答错、执行失败或问题仍存在,且当前没有有效处理进程 | 留在分母,记录原因及处置 |
| 仍在处理 | 存在有效待办、等待或接管中的任务 | 留在分母,不计解决分子 |
解决证据因任务而异。问答可以由客户确认配合抽审核实;改地址要查订单中的实际地址;退款要依据约定的退款完成标准核对渠道结果。生成一个答复或创建一个工单,本身不证明任务完成。人工接管中也不能先计为“人工解决”。
五种当前状态应互斥,但转人工、离开和重开属于历程,应另存事件。已解决的任务后来重开,不能抹去第一次处理,也不能坚持把它永远算作成功。
固定分母,也要给任务公平的观察时间
报表注明受理批次、统计截止日及观察规则。月初受理和月底受理的任务,可能拥有完全不同的完成机会。总体报表可按同一截止日展示所有状态;比较AI效果时,再按预先规定的窗口看已获得足够观察时间的同类任务,并单列尚未成熟样本。
不能把“成熟样本解决率”和“全部有效任务解决率”混成一个数字。重开可能发生在月末之后,后续报告应说明关联和更正方式,不因跨月就把同一未解决问题拆成一个新成功机会。
一个分子分母都可核对的示例
以下全部为演示假设,不是任何企业实绩。某批次有1000项有效任务,均已达到预设的最短观察时间。截至统计日:AI独立解决600项、人工参与解决210项、结果不明70项、已确认未解决80项、仍在处理40项。合计为1000项。
AI独立解决率是600÷1000,即60%;总体解决率是(600+210)÷1000,即81%。70项结果不明、80项未解决和40项处理中都还在分母里。这里“达到最短观察时间”不代表任务一定结束,超出窗口仍在处理也要如实保留。
假设一份错误报表把600项独立解决、70项结果不明和80项已关闭但未解决的任务全算为自动解决,就会报出75%。这与真实的60%相差15个百分点,其中既有确认没解决的任务,也有尚不清楚结果的任务,不能将两者都声称为确定失败或确定成功。
用异常找到要补的工作,不只修饰报表
继续这个虚构示例:某些未解决任务集中在物流查询超时之后,应该核对接口故障;结果不明的任务需要抽样复核,不能靠无回复推定;退款问题重开时,要检查首次回答是否把“已发起”误说成“已到账”。修复后再按同样口径观察,不预设改善幅度。
完整会话质检方法见AI客服质检,其他业务终态和成本指标见Agent业务价值验收。本篇只解决一个更窄的问题:如何避免把客户离开误算为完成。
实际开始时,可先抽取一小批脱敏任务,让客服与业务负责人独立标注后核对分歧。样本量和复访方式按业务风险确定;抽样复访结果另报,不能未经说明替全量任务改标签。已有AI客服的团队,可从AI升级服务梳理现有口径。
本文借鉴Sierra公开的Pendulum案例;国内指标、数字与情节均为场景改编或演示假设,不对应开沿已交付项目。






