你突然把一个广告渠道停了两周,销量也跟着下降。问题是:少掉的销量真是广告带来的吗?也许同期正逢淡季,也许天气变了,也许消费者本来就在减少购买。简单比较停投前后,分不开这些影响。
一篇 2026 年 9 月 16 日提交至 arXiv 的论文提出,可以把企业日常经营中自然发生的投放突变,当成一次准实验——利用预算削减、渠道上线或项目暂停等变化,模拟随机实验的处理与对照。它要估的不是“看过广告的人买了多少”,而是广告真正多带来了多少购买,也就是广告的增量效果。
这项工作由 Trinity College Dublin 的 Georgios Filippou、Boi Mai Quach 和 Ashish Kumar Jha 完成。下文涉及的方法表现和比较结论均来自作者论文,目前没有第三方复现、同行评审结论或生产环境验证。
先找出哪一天真的变了
现实中的第一个麻烦,是企业往往连干预日期都说不准。预算调整散落在表格、代理商交接和临时决策里,过一段时间便很难追溯。
论文的第一阶段因此不看销量,而是检查各广告渠道的活动序列。它采用 exact Bayesian run-length inference:持续计算“距离上一次结构变化已经过去多久”的概率分布。如果大部分概率突然集中到很短的时间长度,就说明最近可能发生了断点。
可以把它理解成观察一家餐厅每天采购多少食材。采购量长期稳定,偶尔一天的异常未必说明菜单变了;但如果采购量突然跳到新水平,并连续保持,模型便更愿意判断餐厅进入了一个新阶段。论文先在周数据上发现变化,再回到日数据,用相邻 14 天均值变化最大的位置细化日期。
作者有意让这一阶段偏向“多报一些”。因为发现候选突变并不等于宣布广告有效。误报只会进入下一轮审查,而不是直接生成结论。
再问:如果没变,本来会怎样
找到投放突变后,第二阶段构造反事实——也就是“如果这次投放变化没有发生,销量本来会怎样”。现实中无法同时看到两个世界,只能根据干预前的走势、日历规律、其他渠道和需求变量来预测。
论文使用 variance-constrained structural time series,即“限制状态波动幅度的结构时间序列”。结构时间序列会把数据中的趋势、季节性和外部变量拆开,再向干预后的时间段延伸。这里的关键,不只是用了什么模型,而是作者限制了模型内部的水平和斜率随意漂移。
原因很直观。一个过于灵活的趋势项,就像一把什么锁都能勉强捅开的钥匙:它在历史数据上看起来拟合很好,到了未来却给出极宽的范围,几乎什么结果都不排除。论文把缓慢变化限制在较小范围,迫使可观察的需求和其他渠道承担主要解释工作。模型如果因此连干预前的数据都解释不好,这次分析就不能通过后续资格检查。
模型随后模拟许多条“没有干预时可能出现的销量路径”,将真实销量与这些路径比较,得到累计增量及其区间。这里的区间是给定已拟合模型后的预测区间;论文没有把参数估计本身的不确定性继续传进去。
不是发现突变就能算功劳
这套方法最重要的克制,可能是它设置了五项 qualification conditions,也就是结果发布前必须通过的资格条件。
第一,模型在干预前必须既拟合准确,预测区间也校准合理。第二,投放变化要足够大,不能把日常噪声当成干预。第三,同期不能有纠缠在一起的其他渠道突变;若有,目标渠道的标准化变化必须明显占主导。第四,效果方向要达到论文设定的显著性要求,错误方向可能意味着预算本来就是跟着销量走的。第五,推算出的商业回报必须处于合理范围;离谱的回报更可能是在暴露模型或识别问题。
这几道门槛是在保护一个很强的前提:控制住可观察信息后,投放变化的时点不能还与销量原本的走势相关。比如公司预见旺季将至,于是提前加预算,随后销量上涨。模型若没掌握这份需求变化,就可能把旺季的功劳算给广告。
作者还给出一个闭式的统计功效下界,用来提前判断某个渠道是否根本测不出来。若在当前数据粒度和噪声水平下,只有高得不现实的广告回报才能达到显著,继续计算也没有决策价值。
两个基准案例给出了什么信号
作者用 Meta 随 GeoLift 发布的两个实验基准验证方法。两套数据都是发布方模拟的数据,分别包含 40 个美国城市、105 天的日销售记录;实验窗口为 2021 年 9 月 1 日至 15 日。一个实验在 20 个市场新增广告,另一个在 10 个市场撤除广告。
第一阶段仅根据投放序列,在两个案例中都把干预日期定位到 9 月 1 日。这个结果只能说明它通过了两个已知日期的测试,不能证明它能普遍发现现实企业中未记录的变化。
在撤除广告的实验中,论文方法估计的效果与实验估计相差 6.2%。折算成每单位投放的回报,模型给出 1.50,实验结果是 1.60。换成管理者更熟悉的语言,两者会支持相近的预算判断。
在新增广告的实验中,论文方法给出的点估计比实验结果低 19.9%;其 90% 区间覆盖实验估计,同时排除零。这并不等于证明广告存在真实增量,只表示在该模型及其区间设定下,零不在范围内。
论文还比较了六种估计器。作者称,自己的方法是其中唯一不需要 geographic panel——按地区拆分的多市场面板——又能在两个案例中同时给出覆盖实验结果、且足够窄的区间的方法。不过,这里的“正确”和“足以行动”缺少独立阈值,六种方法的选择与调参公平性也尚未得到外部核验。
比较中最值得注意的是自由水平的 BSTS,即不限制趋势漂移的 Bayesian structural time series。它在新增广告实验中的点估计只差 4.5%,比论文方法更接近实验结果;但区间宽达后者的 2.2 倍,从几乎没有效果一直延伸到实验估计的 1.8 倍。论文方法牺牲了一些点估计准确度,换来更集中的决策范围。
为什么值得关注
随机实验仍是论文认可的首选工具。这项工作的价值,不是宣布企业可以不做实验,而是处理实验无法覆盖的大片区域:历史上已经发生了大幅停投、上线或重启,但当时没有随机分组,也没有可用的地区对照。
它把散落在经营记录里的意外变化,转化为一套有发现、估计、拒绝和功效判断的流程。尤其值得注意的是,它不只问“能否算出一个数字”,还要求系统说明哪些数字不该被相信。
局限与未知
- 标题中的“没做实验也能估”有严格条件:必须存在持续、可识别的投放突变,并通过五项资格检查。普通的缓慢预算变化不能直接套用。
- 目前外部验证只有 Meta 发布的两个模拟实验基准,且关键结果均由论文作者报告;尚无第三方复现或真实生产环境证据。
- 方法依赖可观察的需求变量和稳定的对照关系。若预算变化是对未来需求的响应,或多个渠道同期重配,反事实仍可能失真。资格检查能筛掉部分可见异常,但不能把准实验变成随机实验。