先给结论:结论不清楚时,通常不该按原方案等额追加,而应把“继续投入”拆成一次更便宜的判别动作——只补测最关键的未知变量,并预先写下什么结果算通过、什么结果算放弃。如果连这个判别动作都无法设计出来,说明问题不在预算多少,而在这轮试验从一开始就没有可判定的目标。
预算花完却看不清,原因不同,下一步完全不同。可以按下面三类对照自己的记录:
判断方法很直接:翻回试验开始前的记录。如果当时写下了明确的对照指标和判定线,多半属于第一类;如果只有方向性描述,属于第二类;如果一次改动了多个环节,属于第三类。
以下情境为假设,仅用于说明比较方法,不代表任何真实项目结果。
假设某团队用一笔固定试验预算,在两条渠道各投放了一组素材,结束时渠道A的转化成本明显低于渠道B。团队想直接把剩余预算全部加到渠道A。此时需要先问三个问题。
第一,渠道A的样本量够不够支撑这个差距。如果渠道A只积累了很少的转化次数,那么它的低成本可能来自偶然。一个可操作的做法是:把渠道A的转化数据按时间顺序分成前后两段,看两段的成本是否接近。若前后差异很大,说明数据本身不稳定,直接放大的风险高。
第二,渠道A的低成本是否依赖特定条件。个别样本成立、规模化后出现例外,常见原因有三个:一是渠道A在试验期处于流量红利或竞争较少的时段;二是试验预算小,系统尚未进入更高出价竞争的阶段;三是试验期只覆盖了某一类人群或某一地区,放大后人群结构变了。这三条都意味着原来的成本水平不能直接照搬。
第三,放大后哪一项成本会先变化。在多数渠道中,投放量上升后,边际获客成本往往上升,而不是保持不变。所以继续投入前,应估算一个“成本上升到什么水平就不再划算”的上限,而不是默认维持试验期的成本。
与其二选一(全额追加或全部停止),更实用的做法是设计一次判别测试。具体动作如下:
这个动作的结果会直接决定下一步:如果放大后成本仍在可接受范围内,说明可以继续分批加量;如果成本迅速越过判定线,说明试验期的低成本不可复制,应回到单变量测试重新找原因,而不是再加预算。
补测不是默认选项。出现以下情况时,继续投入的期望收益通常低于把预算转到别处:
另外要区分计费方式带来的成本结构差异:按点击或展示计费的广告,成本随投放量直接变化;而自然流量相关的投入(内容、外链、站内优化)成本更多体现为时间与人力,短期放大预算并不必然带来同比例产出。把这两类混在同一笔预算里比较,容易得出错误结论。
无论最终选择继续还是停止,都应留下一份简短记录:测试了什么变量、样本量多少、判定线是什么、实际结果落在哪一侧、以及不能照搬的边界条件。这份记录的价值在于,下一次预算分配时可以直接引用,而不必重新试一遍。若结论是“样本不足”,下一步就是补样本;若结论是“变量纠缠”,下一步就是重做单变量测试;若结论是“边界条件不成立”,下一步才是把预算转向其他渠道。只有把结论落到具体成因上,继续投入才是一个可验证的决定,而不是一次猜测。