1.现状调查
(1)量级、效果，取多天平均
通过提取报表，洞察的方式
(2)策略，细到 user-item, item-tag
2.优化策略
(1)确定优化目标
(2)方法：统计分析、预测建模
3.拉评审，填写cf记录
1,2步骤完成之后，拉评审确定方案，然后做会议记录。
4.标签生产
5.离线评估
通过将线上生产的人群和tag优化的人群取交集，分别进行行为依据评估。
6.在线评估
通过f(tag,date_from,date_to,tag_new)，返回以下表格的数据
| expose | ctr | roi | |
| d1+all | |||
| d1+new | |||
| d1+join | |||
| d2+all | |||
| d2+new | |||
| d2+join | |||
| avg+all |
需要的公共工具：
<1> 人群洞察 param(A,B,taglist)
输入imei包，返回人群的各个分布
<2>新标签测试结果
