图源：视觉中国

“较真”是对“广告费”最基本的尊重

假如你是一个卖saas产品的销售，现在有两个客户供你选择：

A客户是一家行业龙头，一家的合同额能帮你完成半年的业绩任务，但是过往的同行说，他们买完产品后，并不会认真使用，一段时间后就会束之高阁； 

B客户是一家年轻的成长型企业，合同额只有上一家的1/5，但是他们特别喜欢你的产品，对产品使用非常较真，甚至会给你提出非常多的产品需求；

这个问题，我问过很多人，有选A的，也有选B的。

但其实，我觉得没有什么可选的，因为，小孩子才做选择，成年人当然是全都要！

不过，我更尊重那家“较真”的客户，不是因为他们高频使用我们的产品，而是因为“较真”是对“广告费”最基本的尊重。 

一个弹窗的提升空间能有多大？

我们有一个成长型的客户，在合作初期的一个月里，这位客户花了近百万的广告费，只是为了测出落地页里一个非常小的功能——“挽留弹窗[1]”的具体效果。

“What？花100万，测一个破弹窗？”

说句实话，这就是我当时的想法，但是随着项目的深入，我渐渐理解了这个客户的做法，“花100万，测试弹窗”只是一个表象，他们较真的是整个探索流程以及产生效果的真正原因。

科学研究的逻辑思维方法有两种，一种是归纳法，一种是演绎法。通过归纳法，我知道了“挽留弹窗”是能够提升转化率的，但是只有找到“提升转化率的真正原因”，我们才能够通过演绎法，将原理应用到其他地方，从而把提升效果从1放大到100。

所以，一个“破弹窗”的作用到底有多大呢？我们又是如何测算出来的呢？

[1]挽留弹窗是一项能够在用户准备退出网页时弹出弹窗，对即将流失的用户进行挽留的功能。

没学会走路之前，千万不要尝试奔跑

凡是练过拳都知道，最容易惹是非的就是初学者了，刚学了两招就急不可耐的想要找人比划比划。于是在第一次试验的时候，我们和客户制定了一个激进的计划，期待在转化率上能有一个巨大的变化。理想是丰满的，但现实是骨感的，结果数据显示，实验组的转化率不仅“提升”不明显，而且不可信。 

这次试验对象是一个小额支付落地页，卖的是集训营小课包，页面逻辑和转化流程相对比较简单，机构并不收集学员手机号，学员点击“报名按钮”后，会直接调起微信支付，支付完成后，会被要求关注“公众号”。

在实验组里，我们为进入落地页的学员，设定三道挽留弹窗，分别会在三种情况下弹出，其中有两道弹窗的内容是一模一样的，另外第三道则不一样。

• 第一道弹窗，首次支付挽留弹窗，在用户第1次支付失败后弹出，引导用户继续支付9.9元；

• 第二道弹窗，二次支付挽留弹窗，在用户第2次支付失败后弹出，引导用户报名0元课程；

• 第三道弹窗，退出挽留0元弹窗，在用户准备退出落地页时弹出，引导用户报名0元课程；

对结果的期待越高，则落差带来的失望越大，特别是当你一顿操作猛如虎后，发现自己就在原地杵。试验结果显示，实验组（带弹窗）相对对照组（无弹窗）的转化率提升不到5%，并且由于样本数不够，在对结果数据进行统计验证时，发现统计P值[2]高达0.363，远大于0.005，也就是说测试结果并不显著，我们无法确信“转化率”的提升是因为设置了弹窗，或许纯粹就是因为运气好。

[2] P值是用来判定假设检验结果的一个参数，P值（P value）就是当原假设为真时，比所得到的样本观察结果更极端的结果出现的概率。如果P值很小，说明原假设情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P值越小，我们拒绝原假设的理由越充分。总之，P值越小，表明结果越显著。

我们还发现，在被转化的人群里，有一部分用户是看过“首次支付挽留弹窗”，但不是在“首次支付挽留弹窗”上直接完成转化的，也就说弹窗对这部分人的转化有助攻的作用。这部用户在落地页上的旅程可能是这样的： 

假设我是一个客户，“我”刚刚已经明明拒绝了支付，“你”弹出一个弹窗来挽留“我”，在潜意识里，“我”想“你”应该会换个方式来讨好“我”，但是当“我”点击报名按钮后，依旧还是唤起了支付，此时“我”可能就会生气了，怀疑“你”是不是在耍“我”？当然，以上仅是我的猜测，可能需要做进一步的测试。 

在这次试验里，我们做了三个弹窗，而三个弹窗的作用相互交叉，难以辨别。导致我们最后根本分辨不出，哪个弹窗是有效的，哪个弹窗是充数的，哪个弹窗是有害的？也不知道，这些弹窗到底对哪群人生效了，这些人又有什么共同特征？做这个试验需要多少的样本量才够？

弹窗的影响到底有多大

为了解决上一次试验中新发现的问题，我们和客户又进行了第二轮试验。在这次试验中我们去除了所有的弹窗，做了一个“裸版”落地页进行投放，目的只有一个——找到“人群分布”的基准值。

根据机构以往的经验，按照“支付动作”可将用户分为三类：

（1）未发起支付

（2）发起1次支付

（3）发起多次支付（2次及以上）

按照“转化转态”可将用户分为2类：

（1）未转化

（2）已转化 

结合这两类动作，理论上可以将用户分成6（3x2）类，但是实际上，这两个动作是有依赖的，“未发起支付，已转化”这类人群是不存在的。所以，实际上只有五类人群，分别是：

（a）未发起支付，未转化

（b）发起1次支付，未转化

（c）发起1次支付，已转化

（d）发起多次支付，未转化

（e）发起多次支付，已转化

为方便大家阅读，下文中我将用“代号”来代指这5类人群，对照表入下表所示：

需要说明的是，每个进入落地页的用户，都会落入到这5个分类里。但是，从不同的时间点来看，你会发现，在不同的时刻，各类人群的比例是变化的。这是因为一个人的状态值是可以转变的，并且这种转变是单向的，例如你可以从“00（未发起支付，未转化）”状态，转变成“10（发起1次支付，未转化）”，但是不能从“10状态”转变成“00”状态。

依据这种人群分类方式和用户旅程，我们就可以绘制出“用户状态流转图”了。结合投放结果数据，透过这张图，我们就可以轻易的找到适合放置“弹窗”的人群，并计算出挽留弹窗真正的影响范围。

（1）找到适合放置“弹窗”的人群

以第2次试验为例，我们发现各类人群的占比入下表1所示，00状态和10状态的人，占未支付转化人群的（60%+20%）/(60%+20%+2%)=97%，所以，针对这两部分人群设置弹窗是比较有意义的，而N0状态的人群比较少，资源有限的情况下，优先级可以降低一些。

（2）计算挽回弹窗的影响范围

挽留弹窗的触发条件主要是由浏览器控制的，不同的浏览器有不同规则。在移动端，每个APP都是一个浏览器，这些浏览器一般只允许对“有交互”的用户发起挽留弹窗。 

若试验中发现“00”状态的用户中，大约50%的用户会产生“交互”。那么就意味着，假如针对“00状态”的用户设置弹窗，最多只有60%x50%=30%的用户会受弹窗的影响。 

此时，若实验组转化率相对“对照组”提升了3%，那么弹窗效果=3%➗ 30%=10%

总结成公式就是：

弹窗效果=转化率差值➗ 弹窗触发率

转化率差值=弹窗效果✖️ 弹窗触发率= 弹窗效果✖️ A人群UV占比✖️ A人群互动率 

假设“弹窗效果”和“A人群UV占比”一定，那么就可以计算“转化率差值”的范围了。

Max(转化率差值)=弹窗效果✖️ A人群UV占比✖️ Max(A人群互动率)

Min(转化率差值)=弹窗效果✖️ A人群UV占比✖️ Min(A人群互动率） 

其中：

转化率差值={实验组转化率 - 对照组转化率}

怎么挽留不感兴趣的用户

计算出挽回弹窗的影响范围后，我们就可以开始针对不同状态的人群进行挽留弹窗测试。在上一次试验中，我们知道“00状态”的用户占60%，“10状态”的用户占比15%，占未支付转化人群的97%，针对这两部分人群，我们可以分别做两次控制试验，分别测试出这两部分人群弹窗的效果。

所以，第三次试验中，我们决定针对“00状态”的用户，设置“挽留弹窗”，进行测试。在这次试验里，我们设置了一个对照组，对照组的用户将不会见到“挽留弹窗”，只用于确认本次实验中，“00、10、11、N0、N1”这5类人群分布的基准值。

假设试验结果如上表所述，我们可以知道实验组转化率提升了“（22%+3%）-（20%+3%）= 2%”，相对提升了 8.7%= 2%/（20%+3%）。

通过上面的用户旅程我们可以知道，若挽留弹窗起作用了，那么被挽留来的用户，只会被分流到“A”和“B”中。

在介绍人群分类的时候，我们讲过“用户状态转变是单向的”，“11状态”的用户一定是从“00”状态用户转化过来的。实验组中 “11状态”人群，比对照组增加了2%，则这个2%的人一定是从“00”中过来的。而N1转态的人群比例并没有改变，说明没有用户从“10状态”转化过来。所以，我们可以确定，在本次试验里，挽留弹窗造成的影响主要是将部分“00状态”的用户，导向了“11状态”，从而提升了转化率。

在这次试验中，挽留弹窗的弹出率为20%（10%+7%+3%），也就是说只有20%的人，被弹窗影响到了，而这部分人群的弹窗效果，如下所示：

挽留弹窗的效果=转化率提升值/总弹出率=2%/(10%+7%+3%)= 10%

所以，假如针对“00状态”的用户设置弹窗，则：

转化率提升空间=弹窗效果✖️ 弹窗触发率 = 10%✖️ 弹窗触发率

临门一脚应该怎么踢

在第三次试验中，我已经测试出“挽留弹窗”对“00状态用户”的效果，那么接下来，我可以开始对“10状态”的用户，设置“支付挽留弹窗”，在这群用户关闭支付时，进行挽留。

同样，在这次试验里，我们也设置了一个对照组，对照组的用户将不会见到“支付挽留弹窗”，只用于确认本次实验中，“00、10、11、N0、N1”这5类人群分布的基准值。

假设试验结果如上表所述，我们可以知道实验组转化率提升了“（20%+3%）-（20%+6%）= 3%”，相对提升了 13%= 3%/（20%+3%）。

通过上面的用户旅程我们可以知道，若支付挽留弹窗起作用了，那么被挽留来的用户，只会被分流到“N1”状态和“N0”状态中。

在这次试验中，支付挽留弹窗的弹出率为12%（8%+1%+3%），也就是说只有12%的人，被弹窗影响到了，而这部分人群的弹窗效果，如下所示：

支付挽留弹窗的效果=转化率提升值/总弹出率=3%/12%= 25%

所以，假如针对“10状态”的用户设置“支付挽留弹窗”，在用户关闭支付时弹出，则

转化率提升空间=弹窗效果✖️ 弹窗触发率 = 25%✖️ 弹窗触发率

现在回答一下，这100万花的值吗？

到目前为止，我们已经花费了将近100万的广告预算，但是这一系列的弹窗试验远没有结束。我们知道“挽留弹窗”和“支付挽留弹窗”是有效的，也知道他们对转化率的提升受“弹窗触发率”的影响。那么如何提升“弹窗触发率”呢？如何在提升“弹窗触发率”的情况，不影响自然转化率呢？这都是我们未来需要解决的问题。

在很多人眼中，落地页制作只是“广告投放”中一个不起眼的环节，而“弹窗”又是落地页中一个不起眼的元素，但就是这些“不起眼”的元素，构成了转化率的基石。所以，这100万不仅仅是为了买一个结论，更是在这个过程中，建立科学的测试流程，探求挽留弹窗起效的真正原理。 

“较真”是一件很难的事情，所以有些人只对别“较真”，而真正的高手只会对自己“较真”。这就是为啥高手，总是下笨功夫，而却笨人却喜欢寻找捷径。 

作者注：本文中的案例根据真实事件改编，为保护客户数据，其中数据为虚构。

作者：李宇徒   编辑：南墙

本文来自于投稿，不代表芥末堆观点。