关于数据分析ROI评估中可比性问题探讨
前几篇聊决策支持和看清与洞察的文章中，很多次提到现阶段，ds去解决一些在资源有限的情况下，怎样最大化提升经营效率的命题变得极其重要，今天会针对性地聊聊解这个命题的绕不开的一个点：ROI 的评估；
当然ROI 的算法一定不是重点，以评估结果来指导策略的迭代和做一些正确决策支持才是重点，而这需要一套ROI监控体系化来实现！！
一、为什么要做
在c端，我们会有诸如发券、拉新、乘客任务、会员等多种策略，DS同学会去帮助看清各策略的效果，具体实现方法的通过AB实验分流出没有上该策略的空白组，最终根据实验结果评估各策略的ROI ( △GMV / △C补）；
在单个策略的评估上，这样看肯定是，但这样看存在的几个问题是：
1、横向可比性存疑：
问题1：口径存在差异
不同策略的评估需求很可能是不同的业务同学以及不同的DS同学在做评估，指标的口径很可能存在差异，自然不同策略的ROI也不能拉齐做比较；
问题2: ROI 存在边际递减效应
不同策略的ROI 之间要实现横向可比，需要保证不同策略的空白组补贴相似，且策略增加的补贴资源相似；
举个例子理解这两个条件：
ROI : 增加一个冰淇淋/面包带来增加幸福感
| 情况1 | 冰淇淋组 | 幸福感 | 面包组 | 幸福感 |
| 实验组 | 4个冰淇淋 | 4 | 9个面包 | 3.5 |
| 对照组 | 3个冰淇淋 | 3 | 8个面包 | 3 |
| 单位新增冰淇淋/面包的幸福感 | 1 | 0.5 | ||
| 情况2 | 冰淇淋组 | 幸福感 | 面包组 | 幸福感 |
| 实验组 | 4个冰淇淋 | 4 | 18个面包 | 4 |
| 对照组 | 3个冰淇淋 | 3 | 8个面包 | 3 |
| 单位新增冰淇淋/面包的幸福感 | 1 | 0.1 |
可以观察到：情况1的由于面包组，本身空白组的的面包已经有8个了，所以再增加一个面包的幸福感显然不如冰淇淋组只有3个冰淇淋的带来的幸福感大；情况2由于在面包组突然间多了10个面包，对比冰淇淋组仍然只增加了一个，所以面包组的单位效应肯定是弱于冰淇淋组的。
2、纵向可比性存疑 ：
比如现在一个拉新策略做了在23年3月做了迭代优化，希望和上一版策略进行纵向对比：
方法1:
23年3月的策略2vs 空白组计算出ROI2 ，和之前22年10月以同样方法计算的ROI1 对比；风险点：两个时期市场环境差异可能是极大的（疫情的时候，滴滴再给你补贴，你连小区也出不去啊）；
方法2:
23年3月的实验，对照组留两个（ 22年10月的策略 + 空白组），分别计算（策略1 和 策略2） vs 空白组的ROI；
优势：解决了方法1中两个ROI 在不同市场环境下不能直接对比的问题
风险点：未考虑到季节性因素的影响；计算出的ROI仍然只是在3月的市场环境下实验期间的静态ROI ，很可能在5月的时候，市场环境发生较大变化，两个策略ROI 的排序发生逆转，仅单个实验周期的结果指导全年业务欠妥；
二、怎么做
1、解决横向可比性
口径存在差异，关键是TOP down 的方法推动大家拉齐口径即可；
但ROI 存在边际递减效应导致的横向不可比问题解法还是需要思考思考；
call back 上面提到的冰淇淋和面包的例子，决策者可能会基于此数据得出我们可能更多的买面包的资源腾挪给到买冰淇淋的结论，但显然，这并不是合理的；
一种可解的方案是：不同策略的实验中，分别设立 边际组
| 情况1 | 冰淇淋组 | 幸福感 | 面包组 | 幸福感 |
| 实验组 | 4个冰淇淋 | 4 | 9个面包 | 3.5 |
| 对照组 | 3个冰淇淋 | 3 | 8个面包 | 3 |
| 实验组（边际增组） | 4.5个冰淇淋 | 4.1 | 9.5个面包 | 3.9 |
| 实验组（边际减组） | 3.5个冰淇淋 | 3.1 | 8.5个面包 | 3.2 |
计算边际ROI
冰淇淋实验组（边际增组）ROI = （4.1-4）/ （4.5-4） = 0.2
面包实验组（边际增组）ROI = （3.9-3.5）/ （9.5-9） = 0.8
冰淇淋实验组（边际减组）ROI = （3.1-4）/ （3.5-4） = 0.8
面包实验组（边际减组）ROI = （3.2-3.5）/ （8.5-9） = 0.6
结论：
如果现在增加预算，冰淇淋边际增roi > 面包，应该增加冰淇淋的预算；
如果现在缩减预算，冰淇淋边际减roi > 面包，应该缩减面包的预算；
2、解决纵向可比性
call back 上面提到的问题：评估结果很可能受到季节性因素等影响，直接以单次评估结果指导全年的业务决策并不科学，所以我们需要常态化监控ROI，即线上需要长期留小流量空白组（动态切换），监控ROI 随着市场环境的变化；
解决方案思路简单，实现起来往往有很多阻力；
比如，线上长期要留满足评估最小样本量要求的空白组，有一定实验成本；
保证长期与其他实验正交/区分流量层，工程有一定的实现难度；
总结：在实际推行的时候，会遇到各种现实问题的考量；
比如“人”的考量：ROI 毕竟是在做评估，工作场景就是在judge 别人产出的价值或意义，老板视角希望拉齐做统一管理，但这其实也就是类似把成绩贴到明面上让所有人看，
比如是否“唯ROI 论”的考量：那些ROI 低的抓手，在战略意义、竞争策略上也有不可替代的意义；
比如成本考量：在大集团，大公司，在线分流的统一化，口径拉齐都有很多的成本壁垒；
道不行不至 事不为不成，祝你，祝我，加油！！
相关系列更多知识：关注gzh/b站 《大佬等我呀》
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！