门禁加到三十条,整体质量反而下降:乘法效应与正交性

门禁加到三十条,整体质量反而下降

有一类改进看起来没有风险:往质量门禁里再加一条检查。加一条只可能拦得更多,不会拦得更少。

这个推理漏掉了一件事。门禁拦的不只是不合格的产出,它也会拦下合格的产出。而每条门禁的这种误拦,是乘在一起的。

先算一条最简单的账

设每条门禁有 5% 的概率误拦一份合格的产出。这个数听起来不高,实际上对人工设定的规则来说已经是乐观估计。

一份合格的产出要通过全部门禁,需要每条都不误拦它:

门禁条数合格产出全部通过的概率
3 条85.7%
5 条77.4%
10 条59.9%
20 条35.8%
30 条21.5%
50 条7.7%


十条门禁的时候,只有六成的合格产出能一次通过。到二十条,掉到三成多。

这个表解释了一个常见现象:一个团队刚上线门禁时觉得顺畅,门禁陆续加到二三十条之后,开始出现"总是卡住"的抱怨。抱怨的对象通常是流程,真实原因是那张表。

后果表面是变慢,实质是被绕过

通过率下降到某个水平之后,会发生一件比慢更麻烦的事。

人开始走例外通道。

表现形态很分散:有人找管理员临时放行,有人把不合格的在系统外改好再送进来,有人干脆把产出登记成另一类不需要走这么多门禁的东西。每一种做法都合理,因为它们的出发点都是"这件事确实没问题,只是被卡住了"。

而且这些做法在单次判断上常常是对的。被拦的那份产出很可能确实合格,它只是撞上了某条门禁的误拦。

所以绕过是系统设计的结果,跟纪律关系不大。 一个通过率只有三成的系统,会训练出所有人的绕过习惯。

更关键的一层:门禁之间是不是正交

上面那张表还有一个隐含假设:各条门禁的误拦是相互独立的。

真实情况很少有干净的独立。新增门禁时,人们通常针对的是最近出过的问题,而这些问题往往集中在同一类产出上。结果是新增的门禁和已有门禁检查的东西高度相关。

相关性带来的后果要用另一种方式理解。

假设你已经有五条门禁在管文本质量。现在加第六条,它管的还是文本质量。那么:

  • 一份文本本来就好的产出,第六条门禁通过的概率很高,它没有增加多少误拦
  • 但它在防护上几乎没有增量,因为它拦的那些问题,前五条里大概率已经有一条会拦

一条与现有门禁高度相关的门禁,防护增量接近零,误拦成本照付。

判断该不该加一条门禁,可以问一个具体的问题:

这条新门禁拦下的缺陷里,有多少是现有门禁拦不到的?

如果答案是 100 个缺陷里有 80 个已经被拦住,那么它的净防护只有 20 个缺陷,而它对全部合格产出的误拦是完整的一份。这笔账通常不划算。

这个比例可以估。做法是拿一批已经被现有门禁拦下的产出,跑一遍新门禁,看它会不会也拦。两个门禁同时拦的比例越高,正交性越差。

正交门禁长什么样

正交的意思是两条门禁检查的是不同的失效原因,一份产出在一条上出问题,不预示它在另一条上也出问题。

按失效原因分类,正交性比较好的组合大致是这样:

失效原因典型门禁与其他类别的关系
事实错误数值、来源核对与文本质量无关
结构缺失必备段落、格式可解析与事实无关
合规风险敏感词、绝对化表述与以上都较独立
主体偏离产出与需求主体对齐与以上独立
过程残留提示词残留、内部编号泄漏与以上独立


这五类之间相对正交,把它们各配一条,比在同一类里配十条有效得多。

这也是前面一篇文章里那个说法的完整版本:评分维度必须能两两独立失败,否则维度数目是虚的。门禁也是同一回事,只是它的代价更直接,能算出通过率。

误拦率怎么自己测

上面的计算依赖一个数:误拦率。这个数不需要复杂的测量,只需要一个抽样。

做法是这样的:

  • 从最近通过的产出里随机抽 30 到 50 件
  • 对每一件,翻它的执行记录,看它有没有在第一次提交时被某条门禁拦下过
  • 被拦过、但人工确认合格、最终通过的,计入误拦

用"被误拦的件数除以抽样总数",得到的是整套门禁的联合误拦率。再用它反推单条的平均误拦率:

`text

单条误拦率 ≈ 1 - (1 - 联合误拦率)^(1 / 门禁条数)

`

这个反推假设独立,作为量级估计够用。真实的误拦率往往会更高,因为如上所述,门禁之间存在相关性。

关键是把这一步做成常规动作。 门禁是加出来就没人回看的典型:加的时候有理由,加了之后没人问它拦对了多少次。

那门禁该有多少条

门禁有收益也有成本,所以存在一个最优数量。收益是拦下缺陷,成本是误拦加上复核的人力。

最优的位置在边际收益等于边际成本的地方。这个位置没法精确算,但可以用一个可操作的判据逼近。

新加一条门禁之前,估两个数:

第一,它的净防护量。也就是它拦下的缺陷里,现有门禁拦不到的那部分。

第二,它的误拦量。用上面反推的单条误拦率乘以产出量。

两个数的比值决定该不该加。 净防护远大于误拦,加;两者接近,不加;净防护小于误拦,这条门禁是负贡献。

一个反过来的做法

与其继续加门禁,有一种做法在通过率偏低时更有效:合并近似门禁,而不是叠加。

五条都在管文本质量的门禁,往往可以合并成一条综合判定。合并之后:

  • 误拦只发生一次,而不是五次相乘
  • 复核界面上的判定点从五个变成一个
  • 一条没过时能看到全部原因,而不是被第一条挡住

合并会牺牲一部分定位精度(你不知道是哪一项没过),但对通过率的改善是直接的。这个取舍在大批量标准化产出上通常值得,在少量高价值产出上不值得。

什么情况下该多设门禁

三种情况例外。

产出量小、单件价值高的时候。比如一份需要人签字的对外方案,误拦的成本只是多花十分钟看一遍,而漏拦的成本可能很大。这类产出可以承受很多条门禁,因为误拦的实际代价低。

错误不可逆的时候。前面那篇关于介入率的文章算过,错误代价越高,防护越该加重。这类产出的门禁数量可以多,代价由数量承担。

门禁本身是零成本的时候。极少,但存在:某些格式校验的误拦率接近零,加一百条也不影响通过率。这类门禁的边际成本可以忽略,加多少都行。判断方法是看它会不会因为样式、措辞这类无关变量而误判。

一个当周能做完的检查

三件事。

第一,数一下当前有多少条门禁,用 0.95 的幂次估一下理论通过率,和实际的首次通过率比一比。差距太大,说明误拦率高于 5%。

第二,抽样 30 件已通过的产出,看其中有多少曾被拦过。这个比例给你的联合误拦率。

第三,把门禁按失效原因分组。看组内的门禁有多少条。组内条数明显多于组数的那些类别,是可以通过合并来降低误拦的地方。

三件事做完,通常会发现门禁的总数不是问题,分布才是。

常见问题

问:通过率低是不是说明我的质量标准定得太严?

不一定。它可能说明标准的数量太多,也可能说明标准之间有冗余。区分方法是看被拦的原因分布:如果原因集中在少数几类上,是标准严;如果原因分散在很多类上、且每类都只出现过一两次,是标准多。

问:误拦的产出能不能自动重试放行?

可以,但要限定在可判定的类别上。格式类的误拦重试通常就通过了,这类可以自动重试。涉及事实和合规的误拦不能自动放行,那等于取消了这门检查。

问:门禁和人工复核的关系是什么?

门禁挡的是可判定的问题,人在门禁之后处理剩下的。门禁数量太多会把大量合格产出推给人,反而增加了人工量。前一篇算过,人工介入率有最优点,而门禁的误拦正是把这个数推离最优的原因之一。

相关阅读

延伸阅读:Onworkly 交付保障:质量门禁与人审机制、为什么 ChatGPT 写的文案不能直接用?——AI 交付的质量门禁、失败全额退款背后:质量门禁 + 人审闸门怎么兜住交付。

数字员工在我们这里怎么编排、怎么过质量门禁,AI 中心里有完整的岗位和编队说明。