数据事业部/数据项目/数据乐高

TOLAP配置说明

生产环境配置链接:http://10.40.188.116:8080/cubit/#/cube/list

主要步骤:1、创建Project

                  2、创建Model

                  3、创建Cube

                  4、创建Engine

                  5、创建Datasource

                  6、创建Browser

补充说明:1、在创建Engine完成后,可以先执行kylin,测试kylin执行时长,如果时间过长,可考虑减少维度(dimention)个数

                 2、同一个project下只能创建一个cube,最好一个project下只有一个model,一个model下只有一个cube

详细步骤:

一、创建Project

      Project 列表---->创建---->提交(project name&project code自定义)

二、创建Model

      Model列表---->创建---->提交

 

三、创建Cube

      Cube列表---->创建---->提交

                              
     
                                              

四、创建Engine

      Engine列表---->创建---->提交

     

五、创建Datasource

       DataSource列表---->创建---->提交

      

六、创建Browser

Browser关系列表列表---->创建---->提交---->cube定义成功

 
 
 

数据乐高开发流程

数据乐高开发流程:

一、需求评审

         由产品及开发对业务方提出的cube开发需求进行评审
         维度个数不宜过多,控制在20个以内

二、底层表开发

         1、直接开发成一张宽表,包含所有需求维度和指标,如 ol_cube_rpt_sales_performance
         2、底层表尽量做增量分区表,这样kylin只需每日构建增量cube即可,提高效率,如目前已上线的 保险cube;
              但是对于需要每天刷新销售架构的表,则不能构建每日增量cube,目前采取的方法是 :
                 对底层宽表采用固定分区(主要是kylin不支持 删除历史分区,设成固定分区,刷数据时可直接覆盖)
                    a)dt='20170101'  存储最近2个月,同期2个月数据。 每天刷新。
                    b)dt=‘20160101’  存储最近2年数据,剔除最近2个月,同期2个月数据。
              如目前已上线的销售业绩cube: 
                    ol_cube_rpt_sales_performance 是每天的增量分区表
                    ol_cube_rpt_sales_performance_all 只有两个dt的增量分区表 ,ol_cube_rpt_sales_performance作业执行完之后,将近2个月及同期数据插入到 ol_cube_rpt_sales_performance_all 表的 dt=20170101分区中,再执行kylin调度
                    每日调度:ol_cube_rpt_sales_performance_dynamic_run_1d  -------->  ol_cube_rpt_sales_performance_all  --------> ol_cube_kylin_sales_performance_all
                    周六补数调度:ol_cube_rpt_sales_performance_bushu_dynamic_run  -------->  ol_cube_rpt_sales_performance_all_bushu  -------->ol_cube_rpt_sales_performance_all --------> ol_cube_kylin_sales_performance_all_bushu

三、配置OLAP

         底层表开发完成并测试上线后,即可开始配置OLAP
         具体配置说明可参考wiki: TOLAP配置说明

四、kylin执行时长验证

          kylin链接: http://10.40.188.123:7070/kylin/models
          在olap配置过程中,在创建Engine完成后,可以先执行kylin,测试kylin执行时长,如果时间过长,可考虑减少维度(dimention)个数
          可以直接执行云途作业   ol_cube_kylin_sales_performance_all,也可手动执行,手动执行步骤:
          1、在model标签下找到创建的project、model、cube
              
         2、点击创建【build】
             
         3、设置起始时间,点击【submit】
             
        4、创建完成之后,在monitor标签中查看执行进度
            
 
          5、执行完成后在 insight标签中查看验证表数据,支持select语句
              
 
          6、取消执行,点击【discard】
              

五、页面展示 saiku

          kylin执行完成之后,确保TOLAP中  datasource 和 browser 也已配置完成,则可在前端查看数据(聚石塔–数据乐高)
          如果配置的cube没有显示:
                 1、尝试刷新缓存   http://public-api.biolap.tnbi.tuniu.org/biolap/rest/saiku/admin/discover/refresh?_=1512115527    将admin改成自己的用户名
                 2、确认是否申请该cube的菜单权限
             如果以上两种方法都尝试过后还是无法显示,可联系平台组郝志超

猜你喜欢

转载自www.cnblogs.com/shujuxiong/p/11257790.html
今日推荐