AB测试可以帮助你过程页面的哪个版本能带来更多的参与度,从而减少访客跳失率的可能性,从而为你提供帮助 。转化率和跳失率之间是紧密相连的,跳失率低,在相同流量基础上转化率一定会高 。
3,找出需要优化的地方更容易
当你利用热图等其他工具进行AB测试时,你将能够清楚地了解哪些内容在起作用,哪些没在起作用 。
优化对于你来说至关重要 。市场和消费者的兴趣处于不断发展的状态,因此你需要紧跟趋势 。
AB测试是一种了解客户时下喜欢什么东西的好方法,并且可以帮助你找到可以改进的地方 。
我们的投放不是进行一轮AB测试后优化一次就不管了,优化是需要不断的进行测试,不断的进行优化,这是一个长期的工作,在这个过程中得到对市场变化的敏锐洞察从而做出应对策略,最终不断的提升我们的广告ROI 。
4,风险更低
进行大规模的重新设计和其他重大调整会花费时间和资源,因此通常明智的做法是谨慎选择策略并进行大量规划 。
借助A / B测试,你可以通过关注访客的行为和参与度指标,最大程度地减少注定要失败的大修项目的投资风险 。你将能够定位正确的元素以进行更新以发挥最大的影响 。
AB测试法具体操作流程
通常做AB测试是一个逐步设计的过程,在过程中需要注意以下几个要点:目标、方案、设计、数据、分析 。
具体操作步骤如下:
1、根据业务场景的需求,设立AB测试的目标,也就是需要改进的点 。
2、根据目标建立优化方案,通常优化的点是单一要素 。
3、依照优化方案进行相关的AB版本设计,这里需要注意的是AB两个版本通常只有优化方案中的单一要素不同,其他界面需保持一致 。
4、数据收集,设计好AB测试版本后,将流量合理分发至每个版本,然后收集用户的行为数据 。
5、测试结果分析,统计显著性按照95%进行区分,达到标准并且可以维持一段时间则可以结束实验;如果达不到标准则需要延长测试时间;如果长时间达不到标准则需要考虑终止测试 。
6、如果结果不是很明显,建议再次设计一轮测试,如果结果的区分度还是不高,那么证明这个变量的影响不大 。
7、在经过适当时间的测试后,你将需要收集的数据并根据主要目标衡量结果的重要性 。计算针对你的目标的每个变体的测试次数,通常以某种转化类型表示 。识别统计显着性将有助于你确定哪些有效,哪些无效 。淘汰无用的变体,将精力集中在改进能带来良好结果的版本上 。
测试结果分析
AB测试结果的分析可以分为两个方面的分析,一是统计学分析;一是业务分析 。
1、统计学分析
所谓统计学分析即通过统计学的角度来分析是否可信 。这里有三个层面:第一是分析AB两个版本之间的差异性,通过统计显著性来反映;之后再分析差异大小,这里通过改进效果来表示,即转化率的提高或降低的幅度;最后是差异区间,表示转化率改进的空间范围 。
统计显著性:
统计显著性也叫显著性,是指两个群体的态度之间的任何差异是由于系统因素而不是偶然因素的影响,同时假定控制了影响差异性的其他影响因素,剩下的是我们推断的因素,但这个也不能够100%保证,因此会有一个概率值即显著性水平 。
如前面所提,统计显著性的值代表了如下含义:
①:95%以上:优化版本和原始版本之间有显著的统计差异,转化率的“改进”是可信的;