hive不能count,inner

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haoxiaoyan/article/details/81385927

最近折腾hive和impala集成sentry后,tableas连接impala 后join一直报错如下:

与 Cloudera Hadoop 数据源“x___sql___ (product)”通信时出错。
连接错误: Tableau 无法连接到数据源。
[Cloudera][Hardy] (35) Error from server: error code: '2' error message: 'Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask'.

hive执行报错

rror while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas

Error running query: TExecuteStatementResp(status=TStatus(errorCode=2, errorMessage=u'Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask', sqlState=u'08S01', infoMessages=[u'*org.apache.hive.service.cli.HiveSQLException:Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask:17:16', u'org.apache.hive.service.cli.operation.Operation:toSQLException:Operation.java:400', u'org.apache.hive.service.cli.operation.SQLOperation:runQuery:SQLOperation.java:238', u'org.apache.hive.service.cli.operation.SQLOperation:runInternal:SQLOperation.java:274', u'org.apache.hive.service.cli.operation.Operation:run:Operation.java:337', u'org.apache.hive.service.cli.session.HiveSessionImpl:executeStatementInternal:HiveSessionImpl.java:439', u'org.apache.hive.service.cli.session.HiveSessionImpl:executeStatement:HiveSessionImpl.java:405', u'org.apache.hive.service.cli.CLIService:executeStatement:CLIService.java:257', u'org.apache.hive.service.cli.thrift.ThriftCLIService:ExecuteStatement:ThriftCLIService.java:501', u'org.apache.hive.service.cli.thrift.TCLIService$Processor$ExecuteStatement:getResult:TCLIService.java:1313', u'org.apache.hive.service.cli.thrift.TCLIService$Processor$ExecuteStatement:getResult:TCLIService.java:1298', u'org.apache.thrift.ProcessFunction:process:ProcessFunction.java:39', u'org.apache.thrift.TBaseProcessor:process:TBaseProcessor.java:39', u'org.apache.hive.service.auth.TSetIpAddressProcessor:process:TSetIpAddressProcessor.java:56', u'org.apache.thrift.server.TThreadPoolServer$WorkerProcess:run:TThreadPoolServer.java:286', u'java.util.concurrent.ThreadPoolExecutor:runWorker:ThreadPoolExecutor.java:1149', u'java.util.concurrent.ThreadPoolExecutor$Worker:run:ThreadPoolExecutor.java:624', u'java.lang.Thread:run:Thread.java:748'], statusCode=3), operationHandle=None)

当时以为是驱动的问题,因为select * from都可以执行,后来想那就count(1)吧,发现同样是报错,这明显就是mr出问题了,查各种资料都不行,后来看yarn日志报错,发现是权限问题,日志如下:

明显没有权限,很奇怪,突然想到是不文件目录权限有问题,经排查发现目录权限如下:

后来直接把里yarn目录删除如下

 rm -rf  /data*/yarn/*/usercache/hive/

之后可以正常使用。

总结:根本没想到是系统文件权限的问题,有时候真的需要先查最不容易发生的问题,而不是执着的以为是hive的问题。

猜你喜欢

转载自blog.csdn.net/haoxiaoyan/article/details/81385927