最优人工介入率是可以算出来的,而且它不是零
在已经用上 AI 生产的团队里,"人工介入率"经常被当成一个成本指标。目标通常是把它压下去,压到 20% 以下,越低越好。
这个目标隐含了一个假设:人工介入只有成本,没有收益。
这个假设不成立。人工介入是错误成本的主要防线,它同时出现在成本项和收益项里。所以真正要找的是一个平衡点,而这个点可以用两个成本项算出来。
先把两笔成本写出来
设人工介入率为 r,也就是百分之多少的产出会被人看过一遍。
要权衡的两笔成本:
- 复核成本:介入率越高,花的复核时间越多
- 错误成本:介入率越低,逃出去的错误越多
复核成本直接和 r 成正比。错误成本和逃逸的错误率成正比。所以关键在逃逸错误率怎么随 r 变化。
这里有一个让模型变真实的假设:复核按风险从高到低挑,并不随机。 一批产出里,最可能出问题的那些先被人看到。所以复核的边际收益递减,前两成的复核能挡掉大部分错误,后面每一份复核挡下的错误越来越少。
把这件事写成一条曲线。设无人复核时的错误率为 e0,复核比例为 r,逃逸错误率是:
`text
逃逸错误率 = e0 × (1 - r)^α
`
α 大于 1,代表复核有递减的收益。α 越大,说明前几成复核挡掉的错误越多,也就是这批产出的风险越容易排序。
总成本与最优解
总成本等于两笔成本相加:
`text
C(r) = c × r + K × e0 × (1 - r)^α
`
c 是复核一份产出的单位成本,K 是让一个错误逃出去的平均代价。
对 r 求导取零,得到最优解满足的条件:
`text
(1 - r)^(α - 1) = c ÷ (K × e0 × α)
`
代入一组具体数字看结果。设:
- e0 = 8%,也就是完全不复核时有 8% 的产出带着错误出门
- α = 3
- c = 1
- K = 50
算出来 (1-r)² = 1 ÷ (50 × 0.08 × 3) = 0.0833,所以 1-r = 0.289,r 约等于 71%。
在这个参数下,最优人工介入率是 71%,不是 20%。
这个数字对很多团队来说是反直觉的。原因在于他们只算了 c 那一项,没算 K 那一项。
敏感性:最优解怎么随参数移动
单给一个 71% 没有太大意义,因为参数是假设的。有意义的做法是看它随参数怎么动。
| 复核单位成本 c | 错误代价 K=20 | K=50 | K=100 |
|---|---|---|---|
| 0.5 | 68% | 80% | 86% |
| 1 | 54% | 71% | 80% |
| 2 | 35% | 59% | 71% |
| 4 | 9% | 42% | 59% |
读这张表有三个方向。
错误代价越高,最优介入率越高。 同样复核成本下,K 从 20 涨到 100,最优介入率从 54% 升到 80%。这就是为什么对外发布的内容和内部草稿不该用同一个介入率标准。
复核成本越高,最优介入率越低。 c 从 1 涨到 4,最优介入率从 71% 降到 42%。这解释了自动化复核工具的价值:它压低的是 c,错误率本身没动,而 c 一降,同样的错误代价下的最优介入率就下来了。
两个参数的比值才是决定性的。 c 和 K 同比例变化时,最优解不动。所以判断自己的介入率该定多少,需要的是这两个数的比值,而不是任何一个绝对值。
更深的那个结论:排序能力决定解的形状
上面得到的是一个内点解,介于 0 和 1 之间。这个结果依赖于 α 大于 1,也就是复核能按风险排序。
如果排序能力不存在呢。
假设风险完全不可预判,任意挑一份来复核,挡掉的错误比例就等于复核比例。这时候 α 等于 1,逃逸错误率是 e0 × (1 - r),总成本变成:
`text
C(r) = c × r + K × e0 × (1 - r)
`
这是 r 的线性函数,没有内点极小值。导数是一个常数:c 减去 K × e0。
于是最优解只能是两个角点:如果 K × e0 大于 c,就全部复核;如果小于 c,就一份都不复核。
按上面的数字,K × e0 = 50 × 0.08 = 4,c = 1,4 大于 1,所以最优是百分之百复核。
这个结论的意思是:当风险不可排序时,最优策略只有一个极端,没有中间地带。 你要么全审,要么完全不审,任何"审一部分"的做法都不划算。
反过来,正是因为能按风险从高到低排序,中间地带才成立。排序能力不是复核流程的一个细节,它决定了整个策略的形状。
这件事有直接的管理含义。你不可能通过"定一个 30% 的介入率"来改善质量,除非同时回答了"这 30% 是怎么挑出来的"。随机挑的 30% 和按风险挑的 30% 是完全不同的两个东西,前者的效果约等于没审。
逃逸错误率的具体样子
回到 K=50 那一组参数,看介入率和逃逸错误率的对应关系:
| 人工介入率 | 逃逸错误率 |
|---|---|
| 0% | 8.00% |
| 30% | 2.74% |
| 50% | 1.00% |
| 70% | 0.22% |
| 90% | 0.01% |
| 100% | 0% |
从 0 到 30% 的介入,把错误率从 8% 压到 2.7%,降了三分之二。从 70% 到 100% 的介入,把错误率从 0.22% 压到 0,降的绝对值只有 0.22 个百分点。
所以介入率的价值集中在前半段。 而 71% 这个最优点,落在收益开始明显衰减的位置上。再往上加,挡掉的错误已经很少,付出的复核成本照付。
为什么把介入率当 KPI 会出问题
如果用介入率做考核指标,会发生一件可以预料的事:团队会去找那些"被复核但复核没有价值"的部分,把它们的介入取消掉,指标就下来了。
被取消的通常是高频、低风险的日常产出。这本身可能是对的,因为这类产出的 K 确实低。
但指标不会停在低风险区。当低风险的部分已经砍完,指标还没达到目标,压力就会转向中间地带。这时候被砍掉的是那些风险中等、单看一件不重要的产出,问题在于它们的量很大,错误逃逸的累计代价不低。
更麻烦的是这个过程不可见。 介入率下降是能看到的,错误率的上升要等错误真正逃出去才体现。两个信号之间有明显的时滞,而考核是按月走的。
该用什么指标替代
一个更完整的指标是单位产出的总成本,把两笔成本都算进去:
`text
单位产出总成本 = c × r + K × 逃逸错误率
`
这个指标的问题是 K 难以估计。让一个错误逃出去值多少钱,通常要事后才知道。
如果 K 估不出来,有一个次优但可用的组合指标:同时看介入率和逃逸错误率,两个数一起考核。 介入率单独下降不算成绩,只有在逃逸错误率不上升的前提下下降才算。
这个组合有一个额外的好处:它把注意力从"少花人工"转回到"错误去了哪里"。而错误去了哪里,才是这件事真正的管理对象。
什么情况下模型的结论不适用
模型的适用边界有三个。
第一,错误可逆且代价低的时候,K 很小,最优介入率会趋近于零。内部草稿、可随时撤回的尝试都属于这一类,这类产出不需要复核。
第二,错误不可逆的时候,K 极大,最优介入率趋近于百分之百。对外的发布、涉及金额的动作、写入外部系统的操作都是这一类。这里要注意,模型给出的是"接近全审",而实际操作中全审不可行,所以这类动作的正解是减少总量,提高介入率在这里帮不上忙。
第三,α 无法估计的时候,模型不能直接用。不过 α 有一个粗略的测法:取一批已知有错误的产出,看前 20% 被复核的部分能挡掉多少错误。挡掉八成以上,α 大约在 3 左右;挡掉一半,α 接近 1,说明排序能力很弱。
一个可以当周做的估计
不需要建立完整的模型,只要三个数。
第一,抽一批最近的产出,统计其中带错误的比例。这是 e0。
第二,把最可能出错的两成挑出来,看里面包含了多少错误。这一步给出 α 的量级。
第三,估一个 K。取你去年最严重的一次交付事故,把它的总代价除以它影响到的件数,得到一个偏保守的 K。
三个数出来之后,代入上面的公式就得到你现在的参数下的最优点。它可能和 71% 差很远,具体数值取决于你的业务,但方向上它会落在两个极端之间,而且几乎不会在 20%。
常见问题
问:71% 这个数字能直接用吗?
不能,它是一组假设参数下的结果。能直接用的是这套算法:把 e0、α、c、K 四个数估出来,代入公式算你自己的最优解。
问:小团队没有那么多数据估 K,怎么办?
用一个替代判据:看这次错误如果流出去,是会收到反馈还是不会。会收到明确反馈(客户投诉、平台驳回)的,K 高,介入率该往上调;不会收到反馈的,K 低,可以放开。
问:可逆的动作要不要完全放开?
可逆只降低了 K,没有改变错误的概率。放开之前最好确认两点:撤回本身需要多少时间,以及撤回期间有没有人已经看到。如果撤回需要半小时而内容已经发出去了,那它实际上不可逆。
相关阅读
延伸阅读:AI 数字员工 vs 人工运营:30 天实测对比报告、从"给建议"到"交活":AI 应用的下一道坎是可验收交付、你缺的不是更多 AI 工具,而是一支 AI 团队。
三条交付线的额度与价格在定价页,基础版免费,可以先跑一次看结果。