将Hive数据库存储格式转换为orc

Hive的存储格式

• textfile

  hive的默认存储格式
  存储方式：行存储
  磁盘开销大 数据解析开销大
  压缩的text文件 hive无法进行合并和拆分

• SequenceFile

  二进制文件以key,value的形式序列化到文件中
  存储方式：行存储
  可分割 压缩
  一般选择block压缩
  优势是文件和hadoop api中的mapfile是相互兼容的

• rcfile

  存储方式：数据按行分块 每块按照列存储
  压缩快 快速列存取
  读记录尽量涉及到的block最少
  读取需要的列只需要读取每个row group 的头部定义。
  读取全量数据的操作 性能可能比sequencefile没有明显的优势

• orc

  存储方式：数据按行分块 每块按照列存储
  压缩快 快速列存取
  效率比rcfile高,是rcfile的改良版本

• 自定义格式

  用户可以通过实现inputformat和 outputformat来自定义输入输出格式

Hive导入数据的几种方式

• 从本地文件系统中导入

load data local inpath 'customer .data' into table customer;

• 从HDFS上导入

load data inpath '/hive/customer .data' into table customer;

• 从别的表中查询出相应的数据导入

insert into table customer select * from customer_tmp;

将存储格式转换为orc

因为textfile类型的数据不能直接保存到orc类型的表中,根据上面的几种导入数据的方式我们做一下转换就可以了,先导入到一个textfile类型的表中然后在通过查询导入到另外一个表就可以了

示例:

use tpcds_orc;
drop table if exists customer_tmp;
create table customer_tmp
(
    c_customer_sk             int                           ,
    c_customer_id             char(16)                      ,
    c_current_cdemo_sk        int                           ,
    c_current_hdemo_sk        int                           ,
    c_current_addr_sk         int                           ,
    c_first_shipto_date_sk    int                           ,
    c_first_sales_date_sk     int                           ,
    c_salutation              char(10)                      ,
    c_first_name              char(20)                      ,
    c_last_name               char(30)                      ,
    c_preferred_cust_flag     char(1)                       ,
    c_birth_day               int                           ,
    c_birth_month             int                           ,
    c_birth_year              int                           ,
    c_birth_country           varchar(20)                   ,
    c_login                   char(13)                      ,
    c_email_address           char(50)                      ,
    c_last_review_date        char(10)
)
row format delimited fields terminated by '|';
load data local inpath '/data1/tpcds/data100/customer.dat' into table customer_tmp;
drop table if exists customer;
create table customer
(
    c_customer_sk             int                           ,
    c_customer_id             char(16)                      ,
    c_current_cdemo_sk        int                           ,
    c_current_hdemo_sk        int                           ,
    c_current_addr_sk         int                           ,
    c_first_shipto_date_sk    int                           ,
    c_first_sales_date_sk     int                           ,
    c_salutation              char(10)                      ,
    c_first_name              char(20)                      ,
    c_last_name               char(30)                      ,
    c_preferred_cust_flag     char(1)                       ,
    c_birth_day               int                           ,
    c_birth_month             int                           ,
    c_birth_year              int                           ,
    c_birth_country           varchar(20)                   ,
    c_login                   char(13)                      ,
    c_email_address           char(50)                      ,
    c_last_review_date        char(10)
)
row format delimited fields terminated by '|'
stored as orc ;
insert into table customer select * from customer_tmp;
drop table customer_tmp;