着陆页转化率：访客被分配到不同版本时怎样识别样本污染
📱 CCBot/2.0 (https://commoncrawl.org/faq/)
🔗 /2d7facab8849.html
📄
着陆页转化率：访客被分配到不同版本时怎样识别样本污染
先给结论：当访客被分配到不同版本时，识别样本污染的核心不是看总转化率差异，而是检查“分流是否真的随机”以及“各版本样本是否来自同一批人、同一批流量”。缺少完整数据或权限时，你能做的最小动作是：按时间、来源、设备三个维度对每个版本做交叉计数，观察某版本是否在某个维度上长期占比异常。如果异常持续存在，就不能把两个版本的转化率差异归因于页面改动本身。
一个假设情境：分流器看起来在工作，但版本A总在深夜多出一批流量
假设你负责一个着陆页，用前端脚本把访客随机分到A、B两个版本，目标转化是表单提交。你只拿到一份按天汇总的版本转化率，没有用户ID，也没有分流日志。表面上分流脚本没有报错，但B版本连续几天转化率都低一截。
这时候不能直接下结论说B更差。你要先问：两个版本的访客构成一样吗？如果A版本在深夜时段、来自某个渠道的流量明显更多，而这些流量本身转化意愿就不同，那么转化率差异可能来自样本构成，而不是页面。
先分清三种可能：随机分流失败、流量来源偏移、重复计数
样本污染通常不是单一原因，常见有三类，判断方式不同：
- 随机分流失败：分流脚本对某些条件（如已登录、特定UA、缓存命中）走了固定分支，导致某版本长期只拿到特定人群。证据是分版本、分设备或分来源的占比长期偏离预期。
- 流量来源偏移：两个版本在同一时间段内拿到的渠道、地域、时段不同。比如A版本承接了更多自然搜索，B版本承接了更多推荐流量。证据是分来源的版本占比不一致。
- 重复计数或重复触发：同一访客被多次计入某版本，或转化事件被重复上报。证据是某版本的访问量与转化量比例异常，且这种异常集中在特定入口。
这三类的共同点是：它们都会让两个版本的样本不再可比。只要发现其中一种，转化率对比就失去解释力。
缺少完整数据时，最小可执行动作是什么
没有用户级数据、没有分流日志时，你仍可以做一件事：把每个版本的访问和转化按“来源 × 设备 × 时段”拆开计数。不需要精确到人，只需要看每个格子里的版本占比是否稳定。
具体动作：取最近一段时间的汇总数据，按上述三个维度分别列出A、B的访问量。然后做两件事：
- 看每个维度下，A与B的占比是否接近你预设的分流比例。若某维度下偏差持续存在，说明分流可能不是随机的。
- 看转化率差异是否只出现在某个格子里。如果B的低转化只集中在某一个来源或时段，而其他格子与A接近，那更可能是该来源的样本问题，而不是页面整体问题。
这个动作的结果会直接影响下一步：如果发现某个维度下版本占比长期偏移，下一步是去检查分流逻辑或流量入口，而不是继续优化页面；如果各维度占比都接近，但转化率差异仍在，才值得把注意力放回页面本身。
哪些现象不能单独证明样本污染
有几个常见误判需要避开：
- 总转化率差异大：差异大只说明两个版本结果不同，不说明样本被污染。样本污染的证据在构成，不在结果。
- 某版本访问量突然归零：归零可能来自分流脚本报错、统计口径变化、埋点失效或流量入口调整，不能单独证明是样本污染。需要结合分来源计数判断。
- 第三方估算流量与站内统计不一致：两者口径本就不同，这种不一致不能用来证明分流出了问题。
换句话说，单一指标的变化不能还原分流过程。你需要的是可核查的证据链：分版本、分维度的计数，以及这些计数与预期分流比例的对比。
假设例子：怎样用交叉计数做一次判断
假设你预设分流是各50%。你按来源拆开后发现：来自搜索的访客中，A占48%、B占52%；来自推荐的访客中，A占78%、B占22%。这个偏差如果持续多天，就说明推荐流量进入两个版本的机会明显不均。此时B的整体转化率偏低，很可能是因为它拿到的推荐流量本身转化意愿不同，而不是B页面更差。
下一步动作应该是：检查推荐流量的入口是否绕过了分流脚本，或是否命中了某个固定分支。在修复之前，不应根据现有转化率对比做出保留或放弃B版本的决定。
反过来，如果各来源下A、B占比都接近50%，但B的转化率仍低，且低转化集中在所有来源，那么样本污染的解释力就下降，页面差异才更值得进一步排查。
