门禁加到三十条,整体质量反而下降
有一类改进看起来没有风险:往质量门禁里再加一条检查。加一条只可能拦得更多,不会拦得更少。
这个推理漏掉了一件事。门禁拦的不只是不合格的产出,它也会拦下合格的产出。而每条门禁的这种误拦,是乘在一起的。
先算一条最简单的账
设每条门禁有 5% 的概率误拦一份合格的产出。这个数听起来不高,实际上对人工设定的规则来说已经是乐观估计。
一份合格的产出要通过全部门禁,需要每条都不误拦它:
| 门禁条数 | 合格产出全部通过的概率 |
|---|---|
| 3 条 | 85.7% |
| 5 条 | 77.4% |
| 10 条 | 59.9% |
| 20 条 | 35.8% |
| 30 条 | 21.5% |
| 50 条 | 7.7% |
十条门禁的时候,只有六成的合格产出能一次通过。到二十条,掉到三成多。
这个表解释了一个常见现象:一个团队刚上线门禁时觉得顺畅,门禁陆续加到二三十条之后,开始出现"总是卡住"的抱怨。抱怨的对象通常是流程,真实原因是那张表。
后果表面是变慢,实质是被绕过
通过率下降到某个水平之后,会发生一件比慢更麻烦的事。
人开始走例外通道。
表现形态很分散:有人找管理员临时放行,有人把不合格的在系统外改好再送进来,有人干脆把产出登记成另一类不需要走这么多门禁的东西。每一种做法都合理,因为它们的出发点都是"这件事确实没问题,只是被卡住了"。
而且这些做法在单次判断上常常是对的。被拦的那份产出很可能确实合格,它只是撞上了某条门禁的误拦。
所以绕过是系统设计的结果,跟纪律关系不大。 一个通过率只有三成的系统,会训练出所有人的绕过习惯。
更关键的一层:门禁之间是不是正交
上面那张表还有一个隐含假设:各条门禁的误拦是相互独立的。
真实情况很少有干净的独立。新增门禁时,人们通常针对的是最近出过的问题,而这些问题往往集中在同一类产出上。结果是新增的门禁和已有门禁检查的东西高度相关。
相关性带来的后果要用另一种方式理解。
假设你已经有五条门禁在管文本质量。现在加第六条,它管的还是文本质量。那么:
- 一份文本本来就好的产出,第六条门禁通过的概率很高,它没有增加多少误拦
- 但它在防护上几乎没有增量,因为它拦的那些问题,前五条里大概率已经有一条会拦
一条与现有门禁高度相关的门禁,防护增量接近零,误拦成本照付。
判断该不该加一条门禁,可以问一个具体的问题:
这条新门禁拦下的缺陷里,有多少是现有门禁拦不到的?
如果答案是 100 个缺陷里有 80 个已经被拦住,那么它的净防护只有 20 个缺陷,而它对全部合格产出的误拦是完整的一份。这笔账通常不划算。
这个比例可以估。做法是拿一批已经被现有门禁拦下的产出,跑一遍新门禁,看它会不会也拦。两个门禁同时拦的比例越高,正交性越差。
正交门禁长什么样
正交的意思是两条门禁检查的是不同的失效原因,一份产出在一条上出问题,不预示它在另一条上也出问题。
按失效原因分类,正交性比较好的组合大致是这样:
| 失效原因 | 典型门禁 | 与其他类别的关系 |
|---|---|---|
| 事实错误 | 数值、来源核对 | 与文本质量无关 |
| 结构缺失 | 必备段落、格式可解析 | 与事实无关 |
| 合规风险 | 敏感词、绝对化表述 | 与以上都较独立 |
| 主体偏离 | 产出与需求主体对齐 | 与以上独立 |
| 过程残留 | 提示词残留、内部编号泄漏 | 与以上独立 |
这五类之间相对正交,把它们各配一条,比在同一类里配十条有效得多。
这也是前面一篇文章里那个说法的完整版本:评分维度必须能两两独立失败,否则维度数目是虚的。门禁也是同一回事,只是它的代价更直接,能算出通过率。
误拦率怎么自己测
上面的计算依赖一个数:误拦率。这个数不需要复杂的测量,只需要一个抽样。
做法是这样的:
- 从最近通过的产出里随机抽 30 到 50 件
- 对每一件,翻它的执行记录,看它有没有在第一次提交时被某条门禁拦下过
- 被拦过、但人工确认合格、最终通过的,计入误拦
用"被误拦的件数除以抽样总数",得到的是整套门禁的联合误拦率。再用它反推单条的平均误拦率:
`text
单条误拦率 ≈ 1 - (1 - 联合误拦率)^(1 / 门禁条数)
`
这个反推假设独立,作为量级估计够用。真实的误拦率往往会更高,因为如上所述,门禁之间存在相关性。
关键是把这一步做成常规动作。 门禁是加出来就没人回看的典型:加的时候有理由,加了之后没人问它拦对了多少次。
那门禁该有多少条
门禁有收益也有成本,所以存在一个最优数量。收益是拦下缺陷,成本是误拦加上复核的人力。
最优的位置在边际收益等于边际成本的地方。这个位置没法精确算,但可以用一个可操作的判据逼近。
新加一条门禁之前,估两个数:
第一,它的净防护量。也就是它拦下的缺陷里,现有门禁拦不到的那部分。
第二,它的误拦量。用上面反推的单条误拦率乘以产出量。
两个数的比值决定该不该加。 净防护远大于误拦,加;两者接近,不加;净防护小于误拦,这条门禁是负贡献。
一个反过来的做法
与其继续加门禁,有一种做法在通过率偏低时更有效:合并近似门禁,而不是叠加。
五条都在管文本质量的门禁,往往可以合并成一条综合判定。合并之后:
- 误拦只发生一次,而不是五次相乘
- 复核界面上的判定点从五个变成一个
- 一条没过时能看到全部原因,而不是被第一条挡住
合并会牺牲一部分定位精度(你不知道是哪一项没过),但对通过率的改善是直接的。这个取舍在大批量标准化产出上通常值得,在少量高价值产出上不值得。
什么情况下该多设门禁
三种情况例外。
产出量小、单件价值高的时候。比如一份需要人签字的对外方案,误拦的成本只是多花十分钟看一遍,而漏拦的成本可能很大。这类产出可以承受很多条门禁,因为误拦的实际代价低。
错误不可逆的时候。前面那篇关于介入率的文章算过,错误代价越高,防护越该加重。这类产出的门禁数量可以多,代价由数量承担。
门禁本身是零成本的时候。极少,但存在:某些格式校验的误拦率接近零,加一百条也不影响通过率。这类门禁的边际成本可以忽略,加多少都行。判断方法是看它会不会因为样式、措辞这类无关变量而误判。
一个当周能做完的检查
三件事。
第一,数一下当前有多少条门禁,用 0.95 的幂次估一下理论通过率,和实际的首次通过率比一比。差距太大,说明误拦率高于 5%。
第二,抽样 30 件已通过的产出,看其中有多少曾被拦过。这个比例给你的联合误拦率。
第三,把门禁按失效原因分组。看组内的门禁有多少条。组内条数明显多于组数的那些类别,是可以通过合并来降低误拦的地方。
三件事做完,通常会发现门禁的总数不是问题,分布才是。
常见问题
问:通过率低是不是说明我的质量标准定得太严?
不一定。它可能说明标准的数量太多,也可能说明标准之间有冗余。区分方法是看被拦的原因分布:如果原因集中在少数几类上,是标准严;如果原因分散在很多类上、且每类都只出现过一两次,是标准多。
问:误拦的产出能不能自动重试放行?
可以,但要限定在可判定的类别上。格式类的误拦重试通常就通过了,这类可以自动重试。涉及事实和合规的误拦不能自动放行,那等于取消了这门检查。
问:门禁和人工复核的关系是什么?
门禁挡的是可判定的问题,人在门禁之后处理剩下的。门禁数量太多会把大量合格产出推给人,反而增加了人工量。前一篇算过,人工介入率有最优点,而门禁的误拦正是把这个数推离最优的原因之一。
相关阅读
延伸阅读:Onworkly 交付保障:质量门禁与人审机制、为什么 ChatGPT 写的文案不能直接用?——AI 交付的质量门禁、失败全额退款背后:质量门禁 + 人审闸门怎么兜住交付。
数字员工在我们这里怎么编排、怎么过质量门禁,AI 中心里有完整的岗位和编队说明。