为什么质量门槛不能定 100 分
先把"定 100 分"这个方案的结局推演一遍。
第一天,所有产出都被拦下。团队觉得系统很严格,士气好。
第三天,有人发现返工三次仍然过不了,因为评分里有主观项,任何一份产出都能被挑出毛病。于是这个人开始找绕过路径:手动改分、走"例外"流程、或者干脆跳过评分卡直接发。
第三周,门槛还在,但已经没有产出真的从它中间过。门槛不是被违反的,是被绕开的。
这不是团队素质问题,是门槛设计的必然规律:一个永远无法通过的门槛,会被绕过而不是被满足。 所以质量门槛设计的第一原则不是"定得多严",是定在一个能持续被满足、同时又能挡住坏产出的位置。
一、AI 产出不是二元的
定门槛之前要先接受一件事:AI 产出的质量是一条分布,不是"合格 / 不合格"两个桶。
同一条编队跑同一件活,产出的好坏会有波动。评分卡的作用是在这条分布上切一刀,把尾部切掉,让进入下一环节的东西有一个下限保证。
门槛保证的是下限,不是正确性。 这两件事必须分开,否则会把评分卡当成质量的全部保障。
我们线上用的是六维评分卡,≥80 分才放行,放行之后还要人再复核。这三个动作合起来才是一套完整的门:评分卡筛尾部,门槛定下限,人保正确性。少任何一个,这套门都不完整。
二、80 分不等于"八成正确"
这是最常被误读的一点。
80 分不表示产出里有 20% 的内容是错的。它表示六个维度上都达到了可接受线,且没有明显短板。
这个区别决定了一件事:评分卡的价值在于发现短板,不在于算总分。
举一个具体的例子。假设一份商品详情页的六维得分是 90 / 90 / 90 / 90 / 90 / 40。平均下来是 81.7,过线。但那个 40 分如果落在"参数准确度"上,意味着这份详情页里存在编造或错配的参数——这是上架类内容里最严重的问题,会直接导致平台驳回甚至处罚。
总分把它平均掉了。这是评分卡最危险的失效方式。
三、有两类问题不能被平均掉
所以在总分之外,还必须有一条硬线规则:任一维度低于硬线,直接不放行,不看总分。
哪几个维度需要设硬线?两类:
| 类型 | 为什么不能平均 |
|---|---|
| 客观对错类 | 参数、价格、规格这类,错了就是错了,没有"总体上还行"这一说 |
| 合规类 | 平台禁售词、绝对化用语、资质表述,命中即风险,与整体质量无关 |
这两类的共同点是:它们的失败是乘性的,不是加性的。 一份内容里 90% 都很好,只有价格写错了——它不是在好内容的基础上减分,它是完全不可用。
上架类内容我们单独有一条规则:不合格不放行,不允许编造参数。这条规则不看总分,它是一道独立的门。
判断评分卡设计得好不好,有一个很简单的方法:看它的维度能不能两两独立失败。
如果六个维度里有三个是"文案质量"的三种说法,那它们会一起好、一起坏,评分卡实际上是四维在打分,其中三维冗余。好的维度设计里,任意两个维度都应该能独立地失败——因为只有独立失败,才能定位到不同的失效原因。
四、门槛该怎么校准,而不是该定多少
80 不是拍出来的。校准方法是这样的:
第一步,先用历史产出来跑一遍。 把过去三个月已经交付、且事后没有出问题的产出,和出过问题的产出,都过一遍评分卡。
第二步,看两条分布。 没问题的那批会集中在某个区间,出过问题的那批会偏在另一个区间。门槛的位置应该切在这两条分布之间、并且偏向清晰的那个断点。
第三步,测两个错误率。
| 错误类型 | 含义 | 代价 |
|---|---|---|
| 误拦 | 合格产出被拦住 | 返工、人工介入量上升 |
| 漏拦 | 不合格产出被放行 | 交付事故、客户投诉 |
这两个错误的代价通常不对称。 内容类交付里,漏拦的代价是客户面前出事,比返工贵得多;所以门槛可以偏保守一点。但偏保守到什么程度,取决于你的人工兜底能力——如果放行后还要人再复核,门槛就可以适当放低,让评分卡专注切尾部,把"正确性"交给复核。
第四步,定期回看。 业务变了、素材来源变了、平台规则变了,分布就会漂移。门槛是校准出来的,不是设一次就够的。
五、门槛跑久了会出现的三个偏差
偏差一,分数通胀。 用同一个模型给自己打分,时间长了分数会慢慢往上涨。表现是过线率越来越高,但客户投诉没减少。处理方式是定期用人工标注的样本去校准评分,而不是只看过线率。
偏差二,维度权重僵死。 业务重点变了,权重没跟着变。比如某段时间平台的参数审核变严,那"参数准确度"的权重就该上调。权重长期不动,评分卡就在按过时的优先级打分。
偏差三,把过线当成了合格。 团队开始以"过线"为目标,而不是"做对"。表现是产出越来越贴近门槛而不越线,质量停在门槛水平不再提升。这是门槛的固有副作用,需要用另一套东西去对冲:定期抽检评分高的产出,看它们是不是真的好。
最后一条尤其重要。门槛能让一个团队稳定在某个水平,但它不会让团队变强。想让水平往上涨,还得靠抽检、复盘和明确的升级目标。
两个常被追问的问题
问:为什么不设 85 或者 90?
因为门槛的位置应该由数据决定,不由感觉决定。按第四节的校准方法跑一遍,如果发现断点落在 90 附近,那就定 90。定 80 只是因为在我们这类内容交付上,分布断点大致落在这个位置。换一个业务、换一个维度权重,答案可能完全不同。
问:≥80 放行了,还需要人复核吗?
需要。而且这不是"补一道保险",这是分工。评分卡负责的是可自动判断的部分,人负责的是评分卡判断不了的部分——这份内容放到具体客户和具体平台上合不合适、有没有语境问题。评分卡替代不了这个判断,也不该试图替代。
相关阅读
延伸阅读:为什么 ChatGPT 写的文案不能直接用?——AI 交付的质量门禁、Onworkly 交付保障:质量门禁与人审机制、失败全额退款背后:质量门禁 + 人审闸门怎么兜住交付。
三条交付线的额度与价格在定价页,基础版免费,可以先跑一次看结果。