案例分享：如何通过数据分析进行活动效果评估
（1）流量规模
数据指标：
- DAU
- 参与活动的用户数（举例：渠道拉活成功召回的用户数）
- 通过活动首次调起app的uv（举例：通过渠道拉活首次调起app的uv）
- 通过活动首次调起app的uv占day的比例（举例：通过渠道拉活首次调起uv的dau占比）
可解决的问题：
- 通过对比事先制定好的活动KPI指标，评估目标完成率；
- 与其他活动对比，评估促活的核心指标（通常是DAU）是否达到预期；
- 评估渠道拉活能够召回的用户量级有多大；
- 评估对DAU的净增量贡献有多大；
（2）用户质量、用户画像
数据指标：
- 留存率（次日回访率、7日回访率、30日回访率）
- 日均使用时长
- 核心功能渗透率
- 核心功能人均PV
- 人群画像（性别、城市、消费能力）
可解决的问题：
- 评估渠道召回用户的质量
- 监测是否存在刷量作弊渠道
（3）用户行为
数据指标：
- 站外转化漏斗（举例：广告曝光-广告点击-成功调起app-deeplink抵达特定页面）
- 站内核心行为的转化漏斗（举例：活动页-列表页-详情页）
可解决的问题：
- 评估用户从站外渠道到抵达App的路径是否顺畅，发现产品bug或者可以改善的机会点
- 评估活动的站内承接策略是否合理
三、分析过程
1. 活动效果评估以及活动ROI分析
在量化DAU (或者活跃天数) 贡献时，需要减去用户的自然活跃量，即计算“净增量”贡献。该贡献可以分为当日贡献和长期贡献。
- 当日贡献是指：当日的召回用户对于当日DAU的增量贡献
- 长期贡献是指：由于召回用户的后续回流，在后续特定时间范围还会持续贡献的用户天数增量。比如，活动后的50个参与用户，在后续30天内人均活跃天数比活动前提高10天，那么促活的增量贡献就是500天。
不得不承认，AB实验最擅长处理归因和量化的问题。它的思想是，将流量随机分为数量均匀和特征均匀的两组（即对照组和实验组），实验组用户只有在产品策略上与对照组不同，因此我们可以认为两组用户在同一时间维度上的指标差异，可以完全归因于策略上的差异。
然而，该广告拉活项目无法设计对应的AB实验，但我们可以基于AB测试的思想，构造与实验组“相似”的用户群体作为对照组。具体过程如下：
- 将拉活渠道唤起app的用户作为实验组，未曾被拉活召回的存量用户作为对照组；
- 选取可能影响用户未来活跃度的特征（比如机型、新增渠道、历史活跃度、…），基于“特征相同”的原则，对两组用户划分为 N 对实验组和对照组。注意尽量将特征通过区间离散化，避免划分出的某一组落入的样本数过少，导致两组样本的指标差异不可信，比如特征「新增日期间隔」可以离散化为：7天内、8-14天、14天以上；
- 计算 N 对实验组和对照组的每一组的指标差异值，以及实验组的总指标差异（等于每一组指标差异*人群占比的相乘结果求和）
通过以上方法，可以计算出拉活对于当日DAU的贡献、以及拉活对于未来30天DAU的总增量贡献。
实际上，对于拉活对DAU的单次短期贡献，有更为简便的方法，即基于“首次归因”的思想，通过“拉活首次调起app的uv”进行量化评估，即如果用户多次启动过app，那么只有当通过促活广告首次调起app了，才会计入到促活广告的功劳。
值得一提的是，“首次归因”的方法也可以应用至“产品新上线功能评估”的效果量化中，通常我们可以将“启动app后首次访问该功能的用户量”作为该功能对dau的贡献量。
对于活动成本的核算，我们可以通过 “总成本消耗量 / 总DAU增量”，计算每个DAU增量的成本，以评估ROI是否符合预期。
2. 用户行为分析、和用户质量评估
可以以「大盘未参活用户」、「同期同类活动」、「往期同类活动」分别作为对比基准，基于用户行为漏斗、留存率、核心行为pv、人均使用时长等指标，识别本次促活策略是否有薅羊毛或者作弊严重的渠道，并评估活动拉来的用户质量好坏。但这里不作为本次分享重点，因此不再展开赘述。
四、结语
作为数据分析师，实际工作中遇到的促活策略往往是五花八门，但是活动效果好坏的评估过程依然是有章可循的。最后，简单总结下本文对于后续活动评估的可复用之处：
- 如何构建活动评估的指标体系；
- 如何量化归因活动的短期贡献（即“首次归因”法）；
- 如何在无法开展AB测试的情况下，通过构造对照组的方式，快速地量化评估长期的增量贡献；
本文作者 @郝笑笑
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！