分组后结论与总体相反,通常不是某一组数据错了,而是总体的分母混进了不该参与比较的人。要查清这件事,先别急着改分组,而是把总体和每个分组的“分母名单”摊开,逐一核对谁被算了进来、谁被算了两次、谁其实不属于这个结论的适用范围。
看到“总体上升、各组都下降”这类现象,先判断它属于哪一种。第一种是分母构成不同:总体把新访客、老访客、不同渠道的人混在一起,各组之间的权重变化把总体方向拉反了。第二种是分组本身有问题:同一批人被分进了两组,或者某组的定义前后不一致,导致组内和组外的口径根本不可比。
两种情况的处理动作不一样。前者要拆开分母构成,看是哪一类人的占比变化改变了总体结果;后者要先修分组规则,再重新算。判断依据可以很简单:把总体数字按分组权重反推一遍,如果反推结果和直接算的总体不一致,说明分母里有重复或遗漏;如果一致,问题更可能出在权重变化上。
不要只看分组后的百分比,要回到名单层面。对每个分组,写出三件事:进入这个分组需要满足什么条件、哪些人虽然满足条件但被排除了、排除的理由是什么。常见的分母污染有几种:把尚未完成关键动作的人算进了转化分母、把重复访问当成独立访客、把测试账号或内部账号留在名单里、把跨组的同一人分别计入两组。
一个可执行的动作是:抽取总体结果和分组结果差异最大的那一组,导出它的分母名单,再和总体的分母名单做一次交集核对。如果发现同一标识同时出现在两个分组,或者某组的分母人数加上其他组的分母人数大于总体去重后的人数,基本可以确认分母存在重复计算。这个动作的结果直接决定下一步:是去重修分组规则,还是去调整总体的统计范围。
确认分母问题后,会面对一个取舍:以总体口径为准,还是以分组口径为准。选择依据不是哪个数字好看,而是结论要回答的问题是什么。
两种选择成立的条件不同。总体口径成立的前提是各组定义稳定、权重变化可解释;分组口径成立的前提是分组规则互斥且完备,没有同一个人落入两组,也没有该被纳入的人被漏掉。如果两个前提都不满足,任何一方的结论都只能当作线索,不能当作定论。
第三方估算流量、搜索引擎报告和站内统计的口径本来就不同,三者的分组结果不一致是常态,不能单凭某一项归零或下降就断定处理正确。更稳妥的做法是建立一条证据链:原始名单 → 去重规则 → 分组规则 → 各组人数 → 总体去重人数。每一步都保留变更记录,这样当分组结论与总体相反时,可以定位是去重环节、分组环节还是权重环节造成的差异。
假设一个场景:总体转化率上升,按新老访客分组后两组都下降。此时先核对总体分母是否把“同一人多次访问”只算了一次,而分组时却按访问次数各算一次。如果确实如此,把分组也改成按人去重后重算,两组数字可能就不再与总体相反。这里的数字只用于说明核对方法,不代表任何真实项目的实际结果。
有一种情况不必深挖分母:分组维度本身与结论没有因果关系,只是恰好相关。例如按注册时间分组后出现相反结论,但注册时间并不影响被观察的行为,这种相反可能只是样本在不同时间段的自然波动。判断方法是换一个与行为更直接相关的维度重算一次,如果相反现象消失,说明原分组维度不是关键变量;如果仍然存在,才值得继续查分母。动作的结果决定下一步:前者应更换分析维度,后者才回到分母核对。
把分歧转成可核对的项目,关键不是争论哪个数字对,而是把每个分母的入选名单和排除理由写清楚,让不同角色能对着同一份名单确认。名单对上了,结论方向自然会有共同的基础。