A/B测试是一种数据分析手段,当你有两种或更多的方案,无法决策哪种更好的时候,可以使用.让用户能够在同样的场景下进入A或B,然后分析用户的反馈数据.
1. 不要过分相信自己的推测
人在自己熟悉的领域待太长时间,就会犯经验主义的错误,这种风格,甚至会延伸到自己不熟悉的领域,在自己不熟悉的领域对着比自己专业的人,展示自己的"逻辑推断",而这种所谓的逻辑,也只是在基于自己熟悉的领域内成立的. 这时,就很有可能被现实打脸.更糟糕的是,如果你还是一个领导者,那将影响一个团队的效率,也会影响你自己的形象.
实事求是,用数据说话.
2. 要尽量排除变量
进行测试的环境可能会有很多变量，比如不同的客户端，不同的时段，不同的使用场景，不同的营销阶段，要考虑太多的因素在里面，尽量少的变量下，才会得出有意义的结论。
3. 分析的维度要尽可能全面
测试得出了结论，比如，使用A方案比B方案能获得更高的用户转化率，但可能出错率更高了，也是同样不可取的。
不能先有答案，再为了这个答案合理化，用数据去证明它。不能只看到自己想看到的。
4. 有意义的数据,是收敛的,而不是发散的
有意义的数据是收敛的，最后的数据都是指向了更好的一种方案。如果A、B方案交替出现提升，那这种数据是不能用来参考的。
5. 能形成一种工具或模块化的东西,方便使用
A/B测试应该是一种方法，一种套路，一种具有普适性的模式，应该要实现更方便的接入和使用。
6. 试图给每个结果一个合理解释
得到了结论，要去挖掘这个结论背后的原理，到底是什么原因导致的。有时候我们拿到了正确的答案，但很有可能这个答案并不是价值最大的，有可能背后的原因才是。