单层抽样
各分为50%的用户，分为用户组A和用户组B，并且两个群体之间差异尽可能小，然后去看收益
单层抽样的典型方法
cookie抽样
用户有感知的
- 以用户为粒度
- 优点：实验过程用户体验一致
- 场景：UI类场景，架构改造类实验
pv抽样
直接拿线上流量去抽，用户无感知的
- 以单次pv为粒度
- 优点：更加无偏
- 场景：广告类实验，策略类实验
单层抽样在每天几十甚至上百个实验，单层抽样需要等着一个一个来，等不及所以需要多层实验。
多层抽样
要保证不同层的实验的影响是均置的。业内有hash算法来保证正交性。
AB实验指标原则
- 二义性低
好理解 - 敏感性高
- 可解释性强
- 全面性
指标设计层次
- 技术指标
- 产品指标
- 体验指标
- 宏观指标
还可以做竞品抽样
