预算不多的时候，只该做大事
三万元的预算，最常见的花法是这样的：GEO 做一点，内容做一点，短视频做一点，投流做一点，私域再做一点。每项六千。
这个花法看起来稳妥，覆盖面广，哪一项都不落下。
它是这几页里最贵的一种花法。原因不在哪一项选错了。分完之后，你没有任何一项做够了能被判断的最小规模。
这篇文章讲的是一件不太常被提起的事：在预算有限的时候，决定你该做什么的，首先是你能看见多大的变化。哪件事更有效，是之后才轮到的问题。
一、你能看见多大的差别，是一道除法
判断一个做法有没有效，本质上是在回答：这个变化是真的，还是随机波动。
统计学里有一个工具叫最小可分辨效果。它的意思是，在你现有的样本量下，多大的差别才能被认为不是巧合。
式子是这样的。设基线比例是 p，每组样本量是 n：
`
最小可分辨差别 ≈ √( 7.84 × 2 × p × (1 − p) ÷ n )
p = 基线比例，n = 每组样本量
`
不用记这个式子。看结果就够了。下面这张表是算出来的：给定你的样本量，你能分辨多小的绝对差别。
| 基线比例 | 每组 100 | 每组 500 | 每组 1,000 | 每组 3,000 | 每组 10,000 |
|---|---|---|---|---|---|
| 30% | 18.1 pt | 8.1 pt | 5.7 pt | 3.3 pt | 1.8 pt |
| 20% | 15.8 pt | 7.1 pt | 5.0 pt | 2.9 pt | 1.6 pt |
| 10% | 11.9 pt | 5.3 pt | 3.8 pt | 2.2 pt | 1.2 pt |
| 3% | 6.8 pt | 3.0 pt | 2.1 pt | 1.2 pt | 0.7 pt |
| 1% | 3.9 pt | 1.8 pt | 1.2 pt | 0.7 pt | 0.4 pt |
同样的数换成相对变化，更直观：
| 基线比例 | 每组 100 | 每组 500 | 每组 1,000 | 每组 3,000 | 每组 10,000 |
|---|---|---|---|---|---|
| 20% | 79% | 35% | 25% | 14% | 8% |
| 10% | 119% | 53% | 38% | 22% | 12% |
| 3% | 225% | 101% | 71% | 41% | 23% |
看最后一行中间那一格。
基线 3%，每组 1,000 个样本，你只能分辨 71% 的相对变化。
意思是：你把转化率从 3% 优化到 3.5%，提升了 17%，一个相当不错的成绩。这个成绩在你现有的样本量下，和什么都没做分不开。
二、一个具体的对照
把这件事做成两个具体的方案，同一笔预算。
方案 A：精修。 把落地页和话术优化一轮，转化率从 3% 提到 3.5%。
方案 B：换钩子。 把整个吸引点换掉，转化率从 3% 提到 6%。
按公式算需要的样本量：
| 方案 | 变化幅度 | 每组需要 | 两组共需 | 按每月 3,000 次曝光 |
|---|---|---|---|---|
| A 精修 | 3% → 3.5%（+17%） | 19,722 | 39,443 | 13.1 个月 |
| A 加码 | 3% → 4%（+33%） | 5,296 | 10,592 | 3.5 个月 |
| B 换钩子 | 3% → 6%（翻倍） | 749 | 1,497 | 0.5 个月 |
同样一笔预算，做精修，你需要十三个月才能判断它有没有用。做换钩子，半个月就有答案。
这就是"预算不多的时候只该做大事"的来源。它是一道算术结论，跟审美和偏好无关。
再看 GEO 那条线。提及率基线 20%：
| 变化幅度 | 两组共需观测 | 按每月 480 次观测 |
|---|---|---|
| 20% → 26%（+30%） | 1,543 | 3.2 个月 |
| 20% → 40%（翻倍） | 165 | 0.3 个月 |
规律是一样的：想分辨的差别越小，需要的样本超线性增长。
想分辨的差别缩小到十分之一，样本要增加到一百倍。这是平方关系，不是线性关系。所以预算缩一半，你能判断的最小变化会变大一点四倍左右，而不是一倍。
三、大多数企业不知道自己落在哪一档
这张表能直接用，前提是你知道自己每月的观测数。做一步就能算出来：
一个月的观测数 = 你每月产生的可计数事件数。
内容线看曝光或点击，GEO 线看提问次数乘平台数乘轮次，电商线看 SKU 数，获客线看询盘数。
一个粗略的判断标准：如果某条线每月的事件数不到一千，你只能看见接近一倍的变化。 这意味着那条线上任何"优化 20%"的努力，在统计上都是不可见的。
这不是说那些努力白费。它可能真的有效。你只是无法知道它有效。而无法知道，意味着你没法在下一次做得更好，也没法在它失效的时候及时停手。
四、第二件事：不用证明，只要选对
到这里有一个绕不过去的问题。按上面的算法，预算少的公司好像什么都不该做。
真实情况不是这样。这里有一份研究给出了另一条路。
2019 年的一篇论文提出了一个叫"测试后投放"的方法，研究的对象是 A/B 测试该开多大。它的结论是：利润最大化的测试规模，比传统显著性检验要求的规模小得多。
具体到一个例子：要分辨两个相差 0.19 的方案，传统的显著性检验要求每组 4,782,433 个样本。而按利润最大化的算法，每组只要 11,391 个样本。
差了四百二十倍。
而用这个小得多的测试做决策，犯错的比例只有 6.9%。
为什么可以这样？研究者的解释是：选错的代价，本身就不大。
显著性检验回答的是"这两个有差别吗"，它对错误极度保守，因为它假设错误很贵。但真实的商业决策里，如果你在两个方案中选错了一个，损失是"少赚了一点"，而不是"归零"。当错误的代价可控时，你不需要那么高的确定性。
所以预算小的公司真正需要的，是做对选择。 证明效果那件事，在这个预算下做不到，两件事的样本量差了四百倍。
这也改变了预算的用法。与其把钱花在"把一个方案做到可信"，不如花在"多试几个候选，快速淘汰明显不行的"。前者要证明，后者只要排序。
五、另一端的极端：有些东西本来就测不出来
前面讲的是"样本少也能做决策"。反过来还有一件事值得知道：有些指标，无论你多少预算都测不出来。
2015 年有一篇很有名的论文，标题就叫《论广告回报几乎无法测量》。它的统计结论是：要让一个广告实验给出信息量足够的置信区间，通常需要超过一千万人周的样本。
论文里给了一个具体的对照：假设一组广告的真实回报率是 25%，在销售数据的噪音下，200 万用户的实验，t 值期望是 3.3，勉强够；而 20 万用户的实验，t 值只有 1.04，这个测试完全没有能力分辨。
论文还有一句话被反复引用：你几乎不可能同时做到"大到买得起这个广告"和"小到能可靠地测出它的回报"。 他们把这个叫超级碗不可能定理。
这条对企业有什么用？很直接。
如果你试图证明"这笔营销投入的 ROI 是多少"，你大概率永远做不到。 因为 ROI 是一个把大量噪音装进一个数字的指标，它的样本要求高到不现实。
所以你该测的是中间那几步。ROI 那一步，在这个预算下测不出来。提到了没有、被怎么描述、曝光到询盘的比例、询盘到成交的比例。这些指标的样本要求低得多，而且每一步都能单独行动。
六、于是"先做哪几步"有了一个不同的答案
通常的回答是一张清单：第一步做什么，第二步做什么。
按上面的算术，正确的做法是先做一道排除，而不是列清单。三个问题，逐个过：
问题一：这项改动预期能带来多大的变化？ 如果预期不到 30%，而你的月样本不到一千，先别做。你做完也不会知道结果。
问题二：这条线的基线是多少？ 基线越低越难测。转化率 3% 的线，和提及率 20% 的线，同样的样本量，能看见的差别差好几倍。
问题三：样本能不能累积？ 有些指标每月重置，有些可以累积。能累积的，时间就是你的样本量；不能累积的，你必须在单月内达到规模，否则永远看不见。
过完这三问，剩下的选项通常只有一到两个。那时候要做的决定，是只做哪个。
这也是我建议的答案：预算有限时，只做一件，做到能被判断为止，再去下一件。 五件事各做六千，五件都看不见；一件事做三万，至少有一件能给你答案。
七、集中还有第二个好处
集中不只是省钱和好测，它还能提高测量的精度。
前面那篇 2015 年的论文里还有一个发现：在实验规模固定的情况下，人均投放金额越高，ROI 估计的标准误越低。
翻译过来：同样的总预算，砸在一个小群体上，比平摊在一个大群体上，测出来的结论更可信。
这一条和直觉相反。很多人会想"覆盖越广越保险"。在测量这件事上，覆盖越广，噪音越大。
八、三条线的最小可测规模
把上面的方法用到我们自己这三条线上，给一个可参照的量级。下面这些数是按公式推算的，属于建议值，不是行业标准，你可以用自己线上的数字替换。
| 业务线 | 每月观测 | 能分辨的差别 | 结论 |
|---|---|---|---|
| GEO 提及率 | 480 次提问 | 约 7 个百分点 | 只能判断大动作，看月度趋势要累积 3 个月以上 |
| 内容转化 | 3,000 次曝光 | 约 1.2 个百分点 | 能判断翻倍级的改动，看不出 20% 的优化 |
| 电商上新 | 30 个 SKU | 约 35 个百分点 | 单月结论不可用，必须跨月累积 |
第二行值得多说一句。3,000 次曝光听起来不少，但它对应的判断能力是"只能看见翻倍"。所以内容线上，判断"换一种内容形态行不行"是可行的，判断"标题改一个字行不行"是不可行的。
第三行是一个提醒。三十个 SKU 的样本，能分辨的差别是三十五个百分点。如果你用十个 SKU 测了新版模板，觉得"顺手多了"，这个感觉没有统计意义。要判断模板好不好，得跨月攒够样本。
九、我们的定价为什么这么设
说完方法，说一个可以对照的事实。
我们的自助工具从免费的基础版开始，先给一次 GEO 体检。这个设置的目的就是让你在花钱之前，先拿到一次基线。没有基线，后面所有比较都没有参照。
我们的代做服务是 80 条起售，先测 80 条，按有效收录结算。80 条这个数不是随便定的，它对应一次能出结论的最小规模。测完这 80 条，你能判断这条路对你有没有用，再决定要不要放量。
工具是按积分计费的，任务失败积分全额退回。这一条和上面讲的错误代价有关：失败的任务不产生费用，所以你可以放心去试那些"可能不行"的方案。快速淘汰明显不行的候选，正是预算少的时候最该做的事。
我们做不了的事也要说清楚。我们没法帮你在样本不足的情况下看清小改动。 如果你的量本身就小，任何供应商承诺"帮你把转化率提升 15%"，你都应该先问一句：这个结论是怎么测出来的，样本多少。
常见问题
问：那是不是量小的公司就不该做优化？
不该做的是"靠优化做增长"。量小的公司可以做两件事：一是做大改动，因为大改动需要的样本少；二是把样本攒起来，用季度甚至半年作为一个判断周期。第二条要有耐心，但它是可行的。
问：我一个月只有几百次曝光，怎么办？
三条路。把预算集中到更少的事情上，让每件事的样本更密；把判断周期拉长到季度；或者改用不需要大样本的指标，比如"有没有出现"这种是非判断，而不是"提升了几个百分点"。
问：显著性检验一定要做吗？
不一定。如果你的决策是"在两个候选里选一个，选错的代价可控"，用不着显著性检验，看哪个更好就选哪个。显著性检验的价值在"错误很贵"的场景。
问：那 ROI 到底还能不能算？
能算账，不能"证明"。你可以算出这笔投入的成本和可归因的收益，做成一个估计。但如果有人告诉你他做了个实验、统计上证明了 ROI，问他要样本量，答案通常经不起推。
相关阅读
延伸阅读：什么是 GEO？为什么你的品牌需要在 AI 回答里被看见、专业服务行业AI方案：律师、会计师、顾问的时间，应该花在专业判断上、两周看见变化：Onworkly 四步上手的试点复盘怎么做。
三条交付线的额度与价格在定价页，基础版免费，可以先跑一次看结果。