0447-答应我，别在CDH5中使用ORC好吗

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢

问题重现

当我们在使用ORC文件格式创建Hive表，并且对Hive表的schema进行更改后，然后进行如insert into…select或insert overwrite … select会报错，以下具体看看报错。

1.首先我们创建一张ORC格式的Hive表，从插入一行数据。

CREATE TABLE orc_test(
s1 date, 
s2 string, 
s3 string
)
STORED AS ORC
LOCATION '/fayson/orc_test';

insert into orc_test values('2015-12-18','25','11111');
select * from orc_test;

（可左右滑动）

2.我们先使用alter命令增加一列到该表，然后对该表进行insert操作。

ALTER TABLE  orc_test ADD COLUMNS (testing string);
INSERT overwrite table orc_test SELECT * FROM orc_test;
INSERT into table orc_test SELECT * FROM orc_test;

（可左右滑动）

3.发现无论是insert还是insert overwrite都会报错，如下。

-----
Diagnostic Messages for this Task:
Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row 
        at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:179)
        at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
        at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:459)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
        at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920)
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row 
        at org.apache.hadoop.hive.ql.exec.vector.VectorMapOperator.process(VectorMapOperator.java:52)
        at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:170)
        ... 8 more
Caused by: java.lang.NullPointerException
        at java.lang.System.arraycopy(Native Method)
        at org.apache.hadoop.io.Text.set(Text.java:225)
        at org.apache.hadoop.hive.ql.exec.vector.expressions.VectorExpressionWriterFactory$6.writeValue(VectorExpressionWriterFactory.java:686)
        at org.apache.hadoop.hive.ql.exec.vector.expressions.VectorExpressionWriterFactory$VectorExpressionWriterBytes.writeValue(VectorExpressionWriterFactory.java:272)
        at org.apache.hadoop.hive.ql.exec.vector.VectorFileSinkOperator.getRowObject(VectorFileSinkOperator.java:89)
        at org.apache.hadoop.hive.ql.exec.vector.VectorFileSinkOperator.processOp(VectorFileSinkOperator.java:76)
        at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815)
        at org.apache.hadoop.hive.ql.exec.vector.VectorSelectOperator.processOp(VectorSelectOperator.java:138)
        at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:815)
        at org.apache.hadoop.hive.ql.exec.TableScanOperator.processOp(TableScanOperator.java:98)
        at org.apache.hadoop.hive.ql.exec.MapOperator$MapOpCtx.forward(MapOperator.java:157)
        at org.apache.hadoop.hive.ql.exec.vector.VectorMapOperator.process(VectorMapOperator.java:45)
        ... 9 more


FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 1   HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec

（可左右滑动）

其实这个异常主要是因为使用ORC格式的文件与Hive的矢量化特性不兼容导致的，本文Fayson会介绍会如何解决这个故障。

测试环境

1.CM和CDH版本为5.15.0

2.采用root用户操作

3.Hive1.1.0

问题解决

2.1

方法1：禁用矢量化

1.禁用矢量化后，再次执行同样的insert语句。

set hive.vectorized.execution.enabled=false;
INSERT overwrite table orc_test SELECT * FROM orc_test;
INSERT into table orc_test SELECT * FROM orc_test;

（可左右滑动）

执行成功，没有报错。

2.2

方法2：使用Parquet

1.我们drop掉这张表，同样的操作使用Parquet文件格式再次操作一遍。

CREATE TABLE orc_test(
s1 string, 
s2 string, 
s3 string
)
STORED AS parquet
LOCATION '/fayson/orc_test';
insert into orc_test values('2015-12-18','25','11111');
ALTER TABLE  orc_test ADD COLUMNS (testing string);
INSERT overwrite table orc_test SELECT * FROM orc_test;

INSERT into table orc_test SELECT * FROM orc_test;

（可左右滑动）

执行成功，没有报错。

总结

1.hive.vectorized.execution.enabled参数在CDH5的Hive中默认是开启的，矢量查询(Vectorized query) 每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理，这样能够显著提高执行速度。

2.但当该参数开启后，会与ORC格式文件的Hive表冲突，也会导致本文第一章所描述的报错，该jira是在Hive2才修复的，所以要在CDH6中才会修复，具体参考一个非常大的jira包：

https://issues.apache.org/jira/browse/HIVE-11981

https://issues.apache.org/jira/browse/HIVE-16314

3.要解决该bug导致的问题，可以禁用矢量化查询的功能，即：set hive.vectorized.execution.enabled=false或者不要对于Hive表使用ORC格式，而是统一改为Parquet格式。

4.ORC文件格式的事务支持尚不完善，具体参考《Hive事务管理避坑指南》，所以在CDH中的Hive中使用ORC格式是不建议的，另外Cloudera Impala也不支持ORC格式，如果你在Hive中创建ORC格式的表，也没办法达到一份数据，多个计算引擎同时访问的目的。最后其实ORC格式是Hortonworks家的，Parquet才是Cloudera的，从两家产品竞争关系上讲，也不会互相支持。所以只要你还在玩CDH5，就别再折腾ORC了。

提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

Hadoop_SC

发布了381 篇原创文章 · 获赞 15 · 访问量 4万+

私信关注

0447-答应我，别在CDH5中使用ORC好吗

猜你喜欢