TOLAP配置说明
生产环境配置链接:http://10.40.188.116:8080/cubit/#/cube/list
主要步骤:1、创建Project
2、创建Model
3、创建Cube
4、创建Engine
5、创建Datasource
6、创建Browser
补充说明:1、在创建Engine完成后,可以先执行kylin,测试kylin执行时长,如果时间过长,可考虑减少维度(dimention)个数
2、同一个project下只能创建一个cube,最好一个project下只有一个model,一个model下只有一个cube
详细步骤:
一、创建Project
Project 列表---->创建---->提交(project name&project code自定义)
二、创建Model
Model列表---->创建---->提交
三、创建Cube
Cube列表---->创建---->提交
四、创建Engine
Engine列表---->创建---->提交
五、创建Datasource
DataSource列表---->创建---->提交
六、创建Browser
Browser关系列表列表---->创建---->提交---->cube定义成功
数据乐高开发流程
-
由 乔梦雅 qiaomengya (99999)添加,由 乔梦雅 qiaomengya (99999)最后更新于2018-01-12
数据乐高开发流程:
一、需求评审
由产品及开发对业务方提出的cube开发需求进行评审
维度个数不宜过多,控制在20个以内
二、底层表开发
1、直接开发成一张宽表,包含所有需求维度和指标,如 ol_cube_rpt_sales_performance
2、底层表尽量做增量分区表,这样kylin只需每日构建增量cube即可,提高效率,如目前已上线的 保险cube;
但是对于需要每天刷新销售架构的表,则不能构建每日增量cube,目前采取的方法是 :
对底层宽表采用固定分区(主要是kylin不支持 删除历史分区,设成固定分区,刷数据时可直接覆盖)
a)dt='20170101' 存储最近2个月,同期2个月数据。 每天刷新。
b)dt=‘20160101’ 存储最近2年数据,剔除最近2个月,同期2个月数据。
如目前已上线的销售业绩cube:
ol_cube_rpt_sales_performance 是每天的增量分区表
ol_cube_rpt_sales_performance_all 只有两个dt的增量分区表 ,ol_cube_rpt_sales_performance作业执行完之后,将近2个月及同期数据插入到 ol_cube_rpt_sales_performance_all 表的 dt=20170101分区中,再执行kylin调度
每日调度:ol_cube_rpt_sales_performance_dynamic_run_1d --------> ol_cube_rpt_sales_performance_all --------> ol_cube_kylin_sales_performance_all
周六补数调度:ol_cube_rpt_sales_performance_bushu_dynamic_run --------> ol_cube_rpt_sales_performance_all_bushu -------->ol_cube_rpt_sales_performance_all --------> ol_cube_kylin_sales_performance_all_bushu
三、配置OLAP
底层表开发完成并测试上线后,即可开始配置OLAP
具体配置说明可参考wiki:
TOLAP配置说明
四、kylin执行时长验证
在olap配置过程中,在创建Engine完成后,可以先执行kylin,测试kylin执行时长,如果时间过长,可考虑减少维度(dimention)个数
可以直接执行云途作业 ol_cube_kylin_sales_performance_all,也可手动执行,手动执行步骤:
1、在model标签下找到创建的project、model、cube
2、点击创建【build】
3、设置起始时间,点击【submit】
4、创建完成之后,在monitor标签中查看执行进度
5、执行完成后在 insight标签中查看验证表数据,支持select语句
6、取消执行,点击【discard】
五、页面展示 saiku
kylin执行完成之后,确保TOLAP中 datasource 和 browser 也已配置完成,则可在前端查看数据(聚石塔–数据乐高)
如果配置的cube没有显示:
1、尝试刷新缓存
http://public-api.biolap.tnbi.tuniu.org/biolap/rest/saiku/admin/discover/refresh?_=1512115527 将admin改成自己的用户名
2、确认是否申请该cube的菜单权限
如果以上两种方法都尝试过后还是无法显示,可联系平台组郝志超