Kylin快速入门

在Hive中准备数据

  • Hive

    需要被分析的数据必须先保存为Hive表的形式,然后Kylin才能 从Hive中导入数据,创建Cube。Apache Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为数 据库表,并可以将SQL语句转换为MapReduce或Tez任务进行运行,从而让 用户以类SQL(HiveQL,也称HQL)的方式管理和查询Hadoop上的海量数据

  • 星形模型
    星形模型中有一张事实表,以及零个或多个维度表;事实表与维度表通过主键外键相关联,维度表之间没有关联,就像很多星星围绕在一个恒星周围,故取名为星形模型。Kylin只支持星形模型的数据集

  • 维度表要求
    1)要具有数据一致性,主键值必须是唯一的;
    2)维度表越小越好,默认的阈值是300MB。
    3)改变频率低
    4)维度表最好不要是Hive视图(View)

  • Hive表分区 支持多分区
    如果Hive表正好是按此时间属性做分区的话,那么就可以利 用到Hive分区的好处,每次在Hive构建的时候都可以直接跳过不相干日 期的数据,节省Cube构建的时间。

  • 了解维度的基数
    维度的基数(Cardinality)指的是该维度在数据集中出现的不同值的 个数;

猜你喜欢

转载自blog.csdn.net/shulixu/article/details/84991379