人工干预率：判断AI落地是否真正奏效的那一项指标

大多数在生产环境里运行AI智能体的公司，说不出这些智能体实际上多久需要一个人插手。人工干预率就是回答这个问题的数字。读完这篇文章，你应该能为一个已经在跑的工作流把它算出来。

FabricLoop为AI组织定下的框架，把人工干预率说得很直白：它问的是，自动化的工作多久需要一个人。这就是定义，本文不偏离它。下面这部分，是概念页没有把账完全算开的地方：把真正的算术用到一个真实工作流上，用数字把这个想法做成具体的，而不是只停留在愿望里。

这个数字实际在衡量什么

人工干预率（HIR）是：在一个划定的工作流、一段划定的时间里，智能体的行动中，有多少在结果可以算作完成之前，需要一个人插手。这里的“插手”有明确含义：有人改正了输出，推翻了智能体作出的决定，或者回答了智能体在继续之前明确提出的问题——FabricLoop的Loop Agent把这一刻叫做ask_human。用这些行动的次数，除以同一时段里智能体采取的行动总数，得到的就是HIR。

这项指标之所以该和可用性、准确率并列，而不是排在它们下面，是因为它衡量的是那些数字看不见的东西。一个智能体可以在某个内部基准上拿到95%的准确率，落地效果却比一个80%的更差——如果它弄错的那5%会悄悄漏过去，而它没把握的那20%每次都会被标出来。HIR不问智能体好不好。它问的是：系统知不知道自己什么时候需要一个人，以及需要的时候，人会不会真的出现。决定一次落地能不能安全扩大的，是第二个问题。

为一个真实工作流计算HIR

拿一个IT或运营团队今天就可能在跑的工作流：智能体分流进来的支持工单，给它们分类（账单、缺陷报告、退款、账号访问，等等），并起草第一遍回复。每一份草稿在到达客户之前都会进审核队列——没有任何东西会自己发出去。这一步审核本身不是干预。审核人在一份不需要改动的草稿上点“发送”，是工作流按设计在运转。干预发生在草稿需要加工的时候：审核人重写了它，改了分类，把工单转到另一个队列，或者智能体自己在任务中途停下来，在起草任何内容之前先问了一个问题。

下面的数字是说明性的例子，不是某家真实公司的数据——但故事的形状，以及背后的算术，正是你用自己的日志搭出来的东西。

在试点月，智能体碰到640张工单。其中415张需要干预——重写、重新分类，或改道——而这415次里，只有75次是智能体在起草任何内容之前自己标出来的。其余都是审核人事后抓住的错误。这是64.8%的HIR，升级占比只有18%：智能体在出错的大多数时候，是自信地错。这是这个问题最糟的一种形态。

团队拉出更正日志，给每一次干预标上原因。两类占了大头：只要涉及金额，智能体就会读错退款政策；面对明显生气的客户，它会起草平静、按流程走的回复。这两类都不用动模型就能修——加上一条明确规则：任何提到超过50美元退款、或情绪分数超过阈值的工单，触发ask_human升级，而不是出一份草稿。其余的仍然照旧起草和审核。

到第三个月，HIR下降了80%以上，但更有信息量的是升级占比：它从18%升到了79%。剩下的大部分，不是智能体被抓到出错——而是它正确认出了一个真正含糊的情况（VIP账号、政策例外、刚好卡在阈值上的退款），并在行动之前先问。下降是真的，也是挣来的：每一轮更正都回灌进了明确规则，所以产生这些更正的具体错误不再重复，而仍然需要判断的类别继续被标出，而不是被草稿绕过去。

错误：把零当成目标

一旦团队看着HIR逐月下降，下一个问题似乎很自然：它能低到什么程度。本能是把零当成终点——证明智能体终于好到可以无人看管地跑。这个本能是反的，也是对这项指标最常见的误读。

真正的目标从来不是抽象地减少干预。它是一个系统：需要人做判断的那些具体时刻会被显出来——而且只有那些时刻——于是人的注意力落到真正需要的地方，而不是均匀摊在所有事情上，或完全缺席。一个HIR为12%的工作流，如果这12%几乎全都是智能体正确标出真正含糊或高风险的情况，比一个HIR为2%、而这2%里大部分是审核人偶然撞上智能体从未标出的错误的工作流更健康。更低的数字可以藏住更差的系统。

升级占比正是为此而设。把它和HIR放在一起看，它告诉你你处在哪一种故事里：

如果HIR在降，而升级占比持平或一起降，先别把它记成胜利。从记为“无需干预”的行动里随机抽一份样本，让人冷眼重看，不要告诉他们这份样本曾被标成干净的。同时看下游信号——重新打开的工单、投诉、退款追回、CSAT——是不是在同时往上漂。HIR下降、下游问题上升，不是一个学得更快的系统。是一个没有人及时抓住的系统。

如果今天就要测，该埋哪些点

这些并不怎么需要新工具，需要的是记下对的东西。大多数在跑智能体的团队已经在跟踪量——它碰了多少工单，起草了多少任务。几乎没有团队跟踪结果，而结果才是HIR真正需要的。

1. 为每一次行动记下结果，而不只是活动次数。原样发出、发出前改过、驳回并重写，或由智能体自己升级。没有结果层面的记录，HIR根本算不出来——你只知道智能体做了某件事，不知道它是否需要被修正。
2. 先固定分母，再去修分子。决定对这个工作流来说，一次行动是什么——碰过的一张工单，起草的一项任务——并让这个定义跨时段保持稳定，这样HIR的变化反映的是智能体的判断，而不是你计数方式的变化。
3. 给每一次干预标上原因。“已编辑”几乎什么都没说。“已编辑：50美元以上误用了退款政策”精确说出下一步该修什么。一套短而稳定的分类，能把更正日志变成待办清单，而不是记分牌。
4. 把升级占比和HIR一起跟踪，而不是用它替换HIR。两个数字合在一起，才能说明一次下降是挣来的还是借来的——见上面的趋势表。
5. 设一条下限，而不是把零当目标。按工作流决定：考虑到这个工作流里有多少真正的含糊，一个合理的、非零的HIR该是什么样。远低于这条下限的比率，是要调查的事，不是要庆祝的事。
6. 按工作流报告HIR，绝不要合成一个全公司的混合数字。一个平均数会藏住：哪一个具体工作流真的挣到了更少的监督，哪一个正在一个好看的头条数字下面悄悄堆积风险。
7. 按计划复查“干净”样本。定期抽出被记为无需干预的行动，让不知道它们曾被标成干净的人重看。这是直接检查审核人是否还在读的唯一办法。