我们给自己做了一次 A/B 测试，结果逆天了……

2017-01-13 11:52:00

作为专注于A/B测试云服务的企业，吆喝科技始终是自己产品的第一个用户。在技术/产品/运营/销售等各个业务环节，我们都会实践A/B测试驱动企业决策优化。

这次我们分享一个非常典型的实验场景:什么样的用户注册页面和流程能最大化有效客户线索？

我们的产品经理和运营经理通过AppAdhoc平台把自己的经验，用户的反馈，书本的理论变成可以落地实施的试验，低风险高效率的逐步推给用户，最终选定最好的方案。

希望我们的实践能给更多的决策者以启发。

“你们的注册太复杂，你知道你挡住了多少有需求的人吗？”

我们的产品很牛逼，我们的团队很牛逼，为什么在注册转化上还是不够好。症结在哪里，怎么解决？

如果注册这个很关键的环节没做好，流失的极有可能是一位有价值的潜在客户。

问题可能出在转化漏斗的任一环节，也可能是所有环节。所幸，我们找到了我们的症结，而解决的方法就是A/B测试。

事实上，网站优化的全环节是都能进行A/B测试的，这里以我们自己在注册流程的优化为例，讲讲A/B测试带给我们的改变。

试验背景

从用户反馈，以及对更多用户线索的需求，我们发现在现有基础上增加用户申请注册数量，获得更多有效商务线索，既必要，也必须。

在A/B测试之前，官网的申请流程是信息准入制的，用户需要先填写5项信息，提交审核发码，这个流程。审核是需要人工介入的，而且必不可少，那么能不能通过降低用户申请成本，来带来更高转化和销售线索呢？测试了才知道。

试验方案

版本设置：加上原始版本，一共4个版本，分别是“5项全能”（需要申请者填写姓名、产品/公司名称、手机、邮箱、月活量级）、“邮箱版本”、“电话版本”和“邮箱+电话版本”。这几个版本都需要运营同学审核后，才会发码。

优化指标：设定提交申请按钮的点击次数、成功提交申请的次数为主要优化指标，同时将各版本最终带来的有效线索转化情况作为参考数据。

试验过程分析

第一阶段试验

这一阶段一共在线3个版本（包括原始版本、邮箱版本、电话版本），每个版本分配给试验流量的33%。运行1周后，发现邮件版本的回复率相对较低。考虑到申请信息的跟进可能性，产品运营部门决定将邮件版本的流量调低至20%，为了更好地对比版本数据，所以把试验中的其他版本的试验流量也统一调降至20%。

试验运行3周后，各个版本的差异逐渐显著。从试验均值和转化人数的比较中，能够观察出每个版本的不同特征，并可以针对性的做出优化改进。

两个试验版本点击提交的用户数远高于原始版本，看来在降低申请成本后，用户提交申请的意愿是有明显提升的。

但邮件和电话版本的数据，也说明了各自的特征和问题：电话版本的提交用户数最多，但经运营核实后，无效申请数量也排在前列，同时在与有效申请用户沟通的过程中，邮箱核实的过程比较困难。

邮箱版本筛除了大量个人用户，一旦用户回复则表明试用意愿很强，而问题在于通过邮件交流等待用户回复的周期较长（甚至有时收不到回复）。

考虑到本次试验的目的，是在增加用户提交申请数量的前提下，找到更多有效的、可跟进的商务线索，因此产品和运营部门在讨论之后，决定对试验做出如下修改：为保证数据对比更清晰，决定结束现有试验进程，通过克隆功能创建新的试验，同时去掉电话版本，替换成试验版本三，即电话+工作邮箱版本（用户须填写有效手机号和工作邮箱），原始版本、邮件版本保持不变。

第二阶段试验

这一阶段运行了12天。我们发现，邮件版本的提交按钮点击率明显占优，提交率比原始版本高出90% ，但经运营审核后的有效转化率却最低。说明尽管准入信息缩减到一个后，用户的提交意愿明显上升，但由于增加了对公共邮箱的筛查，所以屏蔽了大量以个人名义的尝试了解的非目标用户，因此真正能够转化成有效线索的数量相对其他版本来说没有明显差异。

此外，考虑到邮件版本的跟进可控性较差，因此，产品和运营部门做了本次试验的第二个调整：将邮件版本停止（试验流量调为0%），原始版本和电话+邮件版本流量各分配50%的试验流量。我们希望通过放大试验流量，收取更多用户数据，以便做出最终的优化决策。