윈도우 + 아이디어 환경에서 사용하는 스파크 SQL 작업이 문제 하이브 요약하는 일련의 발생;

가상 머신 환경에서 첫째 하둡 클러스터 창, 당신은 윈도우 환경을 구성해야

　　1.에 따르면 자신의 컴퓨터 운영 해당 시스템의 사본 하는 컴파일 하둡 항아리 패키지 에 비 중국어 경로를

　　2. 구성 HADOOP_HOME 환경 변수 - 다음 가상 컴퓨터 구성 파일을 하둡 (4) 사본 환경 창 배포를 하둡

　　3.idea 디버깅 파라미터가 지정 될 때, 가상 머신

　　이 시점에서 Windows 환경이 완료 하둡 기반을 구축합니다. 참고 : 완성 된 구조, 컴퓨터를 다시 시작 하둡 환경 구성, 그렇지 않으면 아이디어가로드 할 수 없습니다 창해야한다 후.

 

둘째, 사용 점화 SQL 작업은 첫 번째 오류 하이브 :

세부 사항은 다음과 주어진 :

D : \ 자바 \ jdk1.8.0_141는 빈 \ \ java.exe를 -DHADOOP_USER_NAME = atguigu "-javaagent : D : \ ADevTool \하게 IntelliJ IDEA 2018년 3월 3일 \ lib 디렉토리 \ idea_rt.jar = 52751 : D : \ ADevTool \하게 IntelliJ IDEA 2018.3 0.3 \ 빈 "-Dfile.encoding = UTF-8 -classpath의 D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \하면 charsets.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ deploy.jar ; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ 내선 \ 액세스 브리지 64.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ 내선 \ cldrdata.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ 내선 \ dnsns.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ 내선 \ 있도록 jaccess.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ 내선 \ jfxrt.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ 내선 \ localedata.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ 내선 \ nashorn.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ 내선 \ sunec.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ 내선 \ sunjce_provider.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ 내선 \ sunmscapi.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ 내선 \ sunpkcs11.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ 내선 \ zipfs.jar; D :\ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ javaws.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ jce.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ JFR. 항아리, D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ jfxswt.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ jsse.jar, D : \ 자바 \ jdk1.8.0_141 \ JRE \ LIB \ 관리 - agent.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ plugin.jar; D : \ 자바 \ jdk1.8.0_141 \ JRE \ lib 디렉토리 \ resources.jar; D : \ 자바 \ jdk1 .8.0_141 \ JRE \ lib 디렉토리 \의 rt.jar; E : \ DevPrj \ IdeaProject2019 \ gmall1205 부모 마스터 \ gmall1205 - 수출 판매 \ 대상 \ 클래스, E : \ DevPrj \ IdeaProject2019 \ gmall1205 부모 마스터 \ gmall1205- 공통 \ 대상 \ 클래스; D : \ localMaven \ COM \ 알리바바 \ fastjson 1.2.47 \ fastjson-1.2.47.jar \; D : \ localMaven \ 조직 \ 아파치 \ httpcomponents \ HttpClient를 4.5.5 \ HttpClient를-4.5 \. 5.jar; D : \ localMaven \ 조직 \ \ httpcomponents \ httpcore 아파치 \ 4.4.9 \ httpcore-4.4.9.jar; D : \ localMaven 1.2 \ 가공 로깅-1.2 \ 가공 로깅 \ 공유지 로깅 \. 항아리; D :\ localMaven \ 조직 \ 아파치 \ httpcomponents \ httpmime 4.3.6 \ httpmime-4.3.6.jar \; D : \ localMaven \ IO \ 검색 창 \ 농담 \ 2.0.4 \ 농담-2.0.4.jar; D : \ localMaven \ IO \ 정보 검색 \ 농담 공통 \ 2.0.4 \ 농담-공통 2.0.4.jar; D : \ localMaven \ COM 구글 \ 코드 \ \ GSON \ GSON \ 2.8.2 \ GSON-2.8.2.jar; D : \ localMaven \ 조직 \ \ httpcomponents \ httpcore-NIO \ 4.4.4 \ httpcore-NIO-4.4.4.jar 아파치; D : \ localMaven \ 조직 \ 아파치 \ httpcomponents \ httpasyncclient 4.1.3 \ httpasyncclient-4.1 \. 3.jar; D : \ localMaven \ NET \ 자바 \ dev에 \ JNA \ JNA \ 4.2.2 JNA-4.2.2.jar \, D : 2.7.8 \ \ localMaven \ 조직 \ codehaus \ JANINO \ 공유지 컴파일러 \ 몬즈 컴파일러 2.7.8.jar; D : \ localMaven \ 조직 아파치 \ 스파크 \ 스파크 core_2.11 \ \ 2.1.1 \ 스파크 core_2.11-2.1.1.jar; D : \ localMaven \ 조직 \ 아파치 \ 브로 \ 브로-mapred 1.7.7 \ 브로-mapred-1.7.7-hadoop2.jar \; D : \ localMaven \ 조직 \ 아파치 \ 브로 \ 브로 - IPC \ 1.7.7 \ 브로 - IPC-1.7.7 .JAR; D : \ localMaven \ 조직 \ 아파치 \ 브로 \ 브로 - IPC \ 1.7.7 \ 브로 - IPC-1.7.7-tests.jar; D :\ localMaven \ 조직 \ codehaus 잭슨 \ 잭슨 코어-ASL \ 1.9.13 \ 잭슨 코어-ASL-1.9.13.jar \, D : \ localMaven \ COM \ 트위터 \ chill_2.11 \ 0.8.0 \ chill_2. 11-0.8.0.jar; D : \ localMaven \ COM \ esotericsoftware \ kryo 음영 \ 3.0.3 \ kryo 음영-3.0.3.jar 단계; D : \ localMaven \ COM \ esotericsoftware \ minlog 1.3.0 \ \ minlog-1.3.0.jar; D : \ localMaven \ 조직 \ objenesis \ objenesis 2.1 \ objenesis-2.1.jar \, D : \ localMaven \ COM \ 트위터 \ 진정 - 자바 0.8.0 \ 취하기 자바 0.8 \. 0.jar; D : \ localMaven \ 조직 아파치 \ xbean \ xbean-ASM5 음영 \ 4.4 \ xbean-ASM5 음영-4.4.jar \; D : \ localMaven \ 조직 아파치 \ 하둡 \의 하둡 클라이언트 \ 2.2 \. 0 \ 하둡 클라이언트 2.2.0.jar; D : \ localMaven \ 조직 아파치 \의 하둡 하둡 공통 2.2.0 \ 하둡 공통 2.2.0.jar \ \ \; D : \ localMaven \ 조직 \ 아파치 \ 가공 \ 공유지 수학-2.1 \ 몬즈 수학 2.1.jar \; D : \ localMaven \ xmlenc \ xmlenc \ 0.52 \ xmlenc-0.52.jar; D : \ localMaven 커먼스 구성 \ 커먼스 구성 \ \ 160 \ commons- 구성-1.6.jar; D :\ localMaven 3.2.2 \ 몬즈 컬렉션-3.2.2.jar \ 몬즈 컬렉션 \ 몬즈 컬렉션 \; D : \ localMaven 몬즈 소화조 2.1 \ 몬즈 소화조-2.1.jar \ \ 몬즈 소화조 \; D : \ localMaven 몬즈 beanutils는 1.9.3 \ 몬즈 beanutils-1.9.3.jar \ 몬즈 beanutils \ \;를 D : \ localMaven 몬즈 beanutils 코어 \ 1.8.0 \ 몬즈 beanutils-에게 코어 - \ 몬즈 beanutils \ 1.8.0.jar; D : \ localMaven \ COM 구글 \ \ protobuf \ protobuf 자바 2.5.0 \ protobuf - 자바 2.5.0.jar \; D : \ localMaven \ 조직 \ 아파치 \의 하둡 \ 하둡 인증 \ 2.2.0 \ 하둡 인증-2.2.0.jar; D : \ localMaven \ 조직 아파치 \ 하둡 \의 하둡 HDFS 2.2.0 \ 하둡 HDFS-2.2.0.jar \ \; D : \ localMaven \ 조직 \ mortbay \ 부두 \ \ 6.1.26 \ 부두 - 폴더의 유틸리티 - 6.1.26.jar 부두 - 폴더의 유틸리티; D : \ localMaven \ 조직 아파치 \ 하둡 \ 하둡 - 맵리 듀스 - 클라이언트 응용 프로그램 \ \ 2.2.0 \ 하둡 맵리 듀스 클라이언트 -app-2.2.0.jar; D : \ localMaven \ 조직 \ 아파치 \ 하둡 \ 하둡 - 맵리 듀스 클라이언트 - 일반 2.2.0 \ 하둡 맵리 듀스 - 클라이언트 공통 2.2.0.jar \; D :\ localMaven \ 조직 하둡 얀 클라이언트 2.2.0.jar \ 2.2.0 \ 아파치 \ 하둡 \의 하둡 실 클라이언트 \; D : \ localMaven \ COM 구글 \ \ \ guice 분사 3.0 \ guice-3.0 \. 병; D : \ localMaven \ javax의 \ 분사 \ javax.inject \ 1 \ javax.inject-1.jar; D : \ localMaven \ aopalliance \ aopalliance 1.0 \ aopalliance-1.0.jar \; D : \ localMaven \ 조직 아파치 \ \ 하둡 \의 하둡 - 원사 - 서버 - 일반 2.2.0 \ 하둡 - 원사 - 서버 공통 2.2.0.jar \, D : \ localMaven \ 조직 2.2 \ 아파치 \ 하둡 \의 하둡 - 맵리 듀스 - 클라이언트 셔플 \. 0 \ 하둡 MapReduce는 클라이언트 - 셔플 2.2.0.jar; D : \ localMaven \ 조직 아파치 \의 하둡 \ 하둡 얀의 API \ 2.2.0 \ 하둡 얀 API-2.2.0.jar \; D \ localMaven \ 조직 아파치 \ 하둡 \의 하둡 MapReduce의 클라이언트 코어 \ 2.2.0 \ 하둡 MapReduce의 클라이언트 코어-2.2.0.jar \; D : \ localMaven \ 조직 아파치 \ 하둡 \의 하둡 실 \ -common \ 2.2.0 \ 하둡 얀 공통 2.2.0.jar; D : \ localMaven \ 조직 아파치 \ 하둡 \ 하둡 MapReduce는 클라이언트 - jobclient \ \ 2.2.0 \ 하둡 MapReduce는 클라이언트 - jobclient- 2.2.0.병; D : \ localMaven \ 조직 2.2.0 \ 하둡 주석 - 2.2.0.jar \ 아파치 \ 하둡 \의 하둡 주석 \; D : \ localMaven \ 조직 \ 아파치 \ 스파크 \ 스파크 launcher_2.11 2.1 \. 1 \ 스파크 launcher_2.11-2.1.1.jar; D : \ localMaven \ 조직 아파치 \ 스파크 \ 스파크 네트워크 common_2.11의 \ \ 2.1.1 \ 스파크 네트워크 common_2.11-2.1.1.jar ; D : \ localMaven \ 조직 \ fusesource \ leveldbjni \ leveldbjni 모두 \ 1.8 \ leveldbjni 모두-1.8.jar, D : \ localMaven \ COM \ fasterxml \ 잭슨 \ 코어 \ 잭슨 - 주석 \ 2.8.0 \ 잭슨 - 주석 -2.8.0.jar; D : \ localMaven \ 조직 아파치 \ 스파크 \ 스파크 네트워크 shuffle_2.11 \ 2.1.1 \ 스파크 네트워크 shuffle_2.11-2.1.1.jar \; D : \ localMaven \ 조직도 \ 아파치 \ 스파크 \ 스파크 unsafe_2.11 \ 2.1.1 \ 스파크 unsafe_2.11-2.1.1.jar; D : \ localMaven 순 \ 자바 \ 데브 \ \ JetS3t를 \ JetS3t를 \ 0.7.1 \ JetS3t를-0.7. 1.jar; D : \ localMaven \ 조직 \ 아파치 \ 큐레이터 \ 2.4.0 \ 큐레이터 레시피-2.4.0.jar \ 큐레이터 레시피; D : \ localMaven \ 조직도 2.4 \ 아파치 \ 큐레이터 \ 큐레이터 워크 \.0 \ 큐레이터 프레임 워크-2.4.0.jar; D : \ localMaven \ 조직 \ 아파치 \ 큐레이터 \ 큐레이터 클라이언트 2.4.0 \ 큐레이터 클라이언트-2.4.0.jar \, D : \ localMaven \ 조직 \ 아파치 \ 사육사 \ 사육사 \ 3.4.5 \ 사육사-3.4.5.jar; D : \ localMaven \ COM 구글 \ 구아바 \ 구아바 14.0.1 \ 구아바 - 14.0.1.jar \ \, D : \ localMaven \ javax의 \ 서블릿 \ API-에서 javax.servlet \ 3.1.0 \에서 javax.servlet-API-3.1.0.jar; D : \ localMaven \ 조직 \ 몬즈 lang3 \ 아파치 \ 공유지 \ 3.5 \ 몬즈 lang3-3.5.jar; D : \ localMaven \ 조직 평민 - math3의 \ \ 아파치 \ 평민 \ 3.4.1 \ 평민 - math3-3.4.1.jar; D : \ localMaven \ COM 구글 \ 코드 \ \ findbugs \ JSR305 \ 1.3.9 \ jsr305-1.3.9 .JAR; D : \ localMaven \ 조직 \ SLF4J 7 월 투 SLF4J \ 1.7.22 \ 7 ~ 투 SLF4J-1.7.22.jar \; D : \ localMaven \ COM 닝 \는 \ 압축-lzf 1.0.3 \ \ 압축-lzf-1.0.3.jar; D : 1.1.2.6 \ \ localMaven \ 조직 \ xerial \ 푸석 푸석한 \ 푸석 푸석한 자바 \ 푸석 푸석한 - 자바 1.1.2.6.jar; D : \ localMaven \ NET \ jpountz \ lz4 \ lz4 \ lz4-1.3.0.jar 1.3.0 \; D : \ localMaven \ 조직 \ roaringbitmap \ RoaringBitmap 0.5 \.11 \ RoaringBitmap-0.5.11.jar; D : \ localMaven 가공 그물 \ 가공 그물 \ 2.2 \ 가공-NET-2.2.jar \; D : \ localMaven \ 조직 \ 스칼라 LANG \ 스칼라 라이브러리 \ 2.11. 8 \ 스칼라 라이브러리 2.11.8.jar; D : \ localMaven \ 조직 \ json4s \ json4s-jackson_2.11 \ 3.2.11 \ json4s-jackson_2.11-3.2.11.jar; D : \ localMaven \ 조직 \ json4s \ json4s-core_2.11 \ 3.2.11 \ json4s-core_2.11-3.2.11.jar; D : \ localMaven \ 조직 \ json4s \ json4s-ast_2.11 \ 3.2.11 \ json4s-ast_2.11-3.2 .11.jar; D : \ localMaven \ 조직 \ 스칼라 LANG \ scalap \ 2.11.0 \ scalap-2.11.0.jar; D : \ localMaven \ 조직 \ 스칼라 LANG \ 스칼라 컴파일러 2.11.0 \의 스칼라 \ -compiler-2.11.0.jar; D : 1.0.1 \ \ localMaven \ 조직 \ 스칼라 LANG \ 모듈 \의 스칼라 xml_2.11 \ 스칼라 xml_2.11-1.0.1.jar; D : \ localMaven \ 조직도 \ 스칼라 LANG \ 모듈 \의 스칼라 파서 combinators_2.11 1.0.1 \ 스칼라 파서 combinators_2.11-1.0.1.jar \; D : \ localMaven \ 조직 \ 글래스 피쉬 저지 \ 코어 \ 저지 클라이언트 \ \ 2.25.1 \ 저지 - 클라이언트 2.25.1.jar; D : \ localMaven \ javax의 \ WS \ RS \ javax.ws.RS-API를 \ 2.0.1 \ javax.ws.rs-API-2.0.1.jar; D : \ localMaven \ 조직 \ 글래스 피쉬 \ hk2 \ hk2-API \ 2.5.0-B32의 \의 hk2-API-2.5.0 -b32.jar; D : \ localMaven \ 조직 \ 글래스 피시 \ hk2 \ hk2-유틸 \ 2.5.0-B32의 \의 hk2-유틸-2.5.0-b32.jar; D : \ localMaven \ 조직 \ 글래스 피시 \ hk2 외부 \ \ aopalliance - 리 패키징 \ 2.5.0-B32 \ aopalliance - 리 패키징-2.5.0-b32.jar; D : \ localMaven \ 조직 \ 글래스 피시 \ hk2 \ 외부 \ javax.inject \ 2.5.0-B32 \ javax.inject- 2.5.0-b32.jar; D : \ localMaven \ 조직 \ 글래스 피시 \ hk2 \ hk2 로케이터 \ 2.5.0-B32의 \ hk2 로케이터-2.5.0-b32.jar; D : \ localMaven \ 조직 \와 Javassist \ 와 Javassist 3.21.0-GA \와 Javassist-3.21.0-GA.jar \, D : \ localMaven \ 조직 \ 글래스 피쉬 \ 저지 - 일반 저지 - 공통 2.25.1.jar \ 2.25.1 \ 저지 \ 코어 \; D \ localMaven \ javax의 \ 주석 \ javax.annotation의 API-1.2 \ javax.annotation의-API-1.2.jar \; D : \ localMaven \ 조직 \ 글래스 피쉬 저지 \ 번들 \ 저지 \ 리 패키징 \ 저지 구아바 \ 2.25.1 \ -guava-2.25.1.jar; D :\ localMaven \ 조직 \ 글래스 피시 \ hk2 OSGi에서 리소스 로케이터-1.0.1.jar \ OSGi에서 리소스 로케이터 \ 1.0.1 \; D : \ localMaven \ 조직 \ 글래스 피시 2.25 \ 저지 \ 코어 \ 저지 서버 \. 1 \ 저지 서버 2.25.1.jar; D : \ localMaven \ 조직 \ 글래스 피쉬 \ 저지 \ 매체 \ 저지 미디어 JAXB \ 2.25.1 저지 미디어 JAXB-2.25.1.jar \; D : \ localMaven \ javax의 \ 검증 \ 검증-API \ 1.1.0.Final 검증-API-1.1.0.Final.jar \; D : 2.25.1 \ \ localMaven \ 조직 \ 글래스 피쉬 저지 \ 용기 \ \ 저지 서블릿 컨테이너 \ 저지 컨테이너 서블릿 2.25.1.jar; D : \ localMaven \ 조직 \ 글래스 피시 저지 컨테이너 서블릿 코어 2.25.1 \ 2.25.1 \ 저지 \ 용기 \ 저지 서블릿 컨테이너 코어 \. 병; D : \ localMaven \ IO \ 그물코 \ 그물코 모두 \ 4.0.42.Final \ 그물코-모든 4.0.42.Final.jar; D : \ localMaven \ IO \ 그물코 \ 그물코 \ 3.8.0.Final \ 그물코-3.8.0.Final.jar; D : \ localMaven \ COM \ clearspring \ 분석 \ 스트림 2.7.0 \ 스트림 2.7.0.jar \; D : \ localMaven \ IO \ dropwizard \ 메트릭 \ 메트릭 코어 \ 3.1.5 개 \ 메트릭 코어-3.1.5.jar; D : \ localMaven \ IO \ dropwizard \ 메트릭 \ 메트릭-의 JVM \ 3.1.5 \ 메트릭-JVM-3.1.5.jar; D : \ localMaven \ IO \ dropwizard \ 메트릭 \ 메트릭-JSON의 \ ​​3.1.5 \ 메트릭-JSON-3.1.5.jar; D : \ localMaven \ IO \ dropwizard \ 메트릭 \ 메트릭 흑연 \ 3.1.5 \ 메트릭 흑연-3.1.5.jar; D \ localMaven \ COM \ fasterxml 잭슨 \ 코어 \ 잭슨 데이터 바인딩 \ \ 2.8.10 \ 잭슨 데이터 바인딩-2.8.10.jar; D : \ localMaven \ COM \ fasterxml \ 잭슨 \ 코어 \ 잭슨 코어 \ 2.8.10 \ 잭슨 코어 2.8.10.jar; D : \ localMaven \ COM \ fasterxml \ 잭슨 \ 모듈 \ 잭슨 모듈 scala_2.11 \ 2.8.10 \ 잭슨 scala_2.11-2.8.10.jar 모듈; D는 : 2.11.8 \의 스칼라-반영-2.11.8.jar을 \ \ localMaven \ 조직 \ 스칼라 LANG \의 스칼라 - 반영; D를 \ localMaven \ COM \ fasterxml 잭슨 \ 모듈 \ 잭슨 모듈 paranamer 2.8 \. \ 10 \ 잭슨 모듈 paranamer-2.8.10.jar; D : \ localMaven \ 조직 \ 아파치 \ 아이비 \ 아이비 \ 2.4.0 \ 포토스 2.4.0.jar; D : \ localMaven \ 오로 \ 오로 2.0 \. 8 \ 오로 - 2.0.8.jar; D :\ localMaven \ NET \ razorvine \ pyrolite 4.13 \ pyrolite - 4.13.jar \, D : \ localMaven \ NET \ 김포 \ py4j \ py4j \ 0.10.4 \ py4j - 0.10.4.jar; D : \ localMaven \ 조직 아파치 \ \ 2.1.1 \ 스파크 tags_2.11-2.1.1.jar \ 스파크 \ 스파크 tags_2.11; D : 1.0.0 \ 몬즈 크립토 1.0 \ 몬즈 암호화 \ 아파치 \ 공유지 \ \ localMaven \ 조직도. 0.jar; D : \ localMaven \ 조직 스파크 프로젝트 \ 스파크 \ \ 미사용 1.0.0.jar \ 1.0.0 \ 미사용; D : \ localMaven \ 조직 \ 아파치 \ 스파크 \ 스파크 hive_2.11 2.1 \. 1 \ 스파크 hive_2.11-2.1.1.jar; D : \ localMaven \ COM \ 트위터 \ 마루 - 하둡 다발 1.6.0 \ 마루 - 하둡 일괄 1.6.0.jar \; D : \ localMaven \ 조직 스파크 프로젝트 \ \ 하이브 \ 하이브 간부 \의 1.2.1.spark2 \ 하이브 간부-1.2.1.spark2.jar; D : \ localMaven는 \ 가공-IO \ 공유지-IO \ 2.4 \ 몬즈 IO-2.4 .JAR; D : \ localMaven \ 공유지-LANG \ 공유지-LANG \ 260 \ 몬즈 랭 2.6.jar; D : \ localMaven \ javolution \ javolution \ 5.5.1 \ javolution-5.5.1.jar; D : \ localMaven \ log4j에 \ 아파치의 log4j-엑스트라 \ 1.2.17 \ 아파치의 log4j-엑스트라-1.2.17.jar; D :\ localMaven \ 조직 \ ANTLR \ ANTLR-런타임 \ 3.4 \ ANTLR-런타임 3.4.jar; D : \ localMaven \ 조직 \ ANTLR \ stringtemplate 3.2.1 \ stringtemplate-3.2.1.jar \; D : \ localMaven \ ANTLR \ ANTLR \ 2.7.7 \ ANTLR-2.7.7.jar; D : \ localMaven \ 조직 \ ANTLR \ ST4 4.0.4 \ ST4-4.0.4.jar \; D : \ localMaven \ 조직 커먼스 \ 아파치 \ 공유지 \ 가공 - 압축 - 1.4.1.jar \ -compress \ 1.4.1] D : \ localMaven \ 조직 \ tukaani \ XZ \ 1.0 \ XZ-1.0.jar; D : \ localMaven \ COM \ googlecode \ javaewah \ JavaEWAH 0.3 \ 0.2 \ JavaEWAH-0.3.2.jar; D : \ localMaven \ 조직 \ \ 푸석 푸석한 \ 푸석 푸석한 \ 0.2 \ 푸석 푸석한-0.2.jar iq80; D : \ localMaven \ STAX \ STAX-API에 \ 1.0.1 \ STAX-API -1.0.1.jar; D : \ localMaven \ NET \ 김포 \ opencsv \ opencsv 2.3 \ opencsv-2.3.jar \, D : \ localMaven \ 조직 스파크 프로젝트 \ \ 하이브 \ 하이브 - 메타 스토어의 \의 1.2.1.spark2 \ 하이브 - 메타 스토어 - 1.2.1.spark2.jar; D : \ localMaven \ COM \ jolbox \ bonecp \ 0.8.0.RELEASE \ bonecp - 0.8.0.RELEASE.jar; D : \ localMaven \ 평민 - CLI \ 공유지 -cli \ 120 \ 몬즈 CLI-1.2.jar; D :\ localMaven \ 조직 \ 아파치 \ 더비 \ 더비 10.13.1.1 \ 더비-10.13.1.1.jar \; D : \ localMaven \ 조직 \ datanucleus \ datanucleus-API-JDO \ 3.2.6 \ datanucleus-API-JDO-3.2. 6.jar; D : \ localMaven \ 조직 \ datanucleus \ datanucleus - RDBMS \ 3.2.9 \ datanucleus-RDBMS-3.2.9.jar; D : \ localMaven 평민 - 풀 \의 \ 공유지 풀 \ 평민 - 수영장 - 1.6 \ 1.6.jar; D : \ localMaven \ 공유지-DBCP \ 몬즈 DBCP \ 140 \ 몬즈 DBCP-1.4.jar; D : \ localMaven \ javax의 \ JDO \ JDO-API에 \ 3.0.1 \ JDO API-3.0. 1.jar; D : \ localMaven \ javax의 \ 거래 \ JTA \ 1.1 \ JTA-1.1.jar, D : \ localMaven \ 조직 \ 아파치 \ 브로 \ 브로 \ 1.7.7 \ 브로-1.7.7.jar; D : \ localMaven \ COM \ ThoughtWorks의 \ paranamer \ paranamer 2.3 \ paranamer-2.3.jar \, D : \ localMaven \ 평민 - HttpClient를 \ 평민 - HttpClient를 3.1 \ 평민 - HttpClient를-3.1.jar \, D : \ localMaven \ 조직 아파치 \ \ 방해석 \ 방해석-avatica 1.2.0-인큐베이팅 \ 방해석-avatica-1.2.0-incubating.jar \; D : 1.2 \ \ localMaven \ 조직 \ 아파치 \ 방해석 \ 방해석 코어.0 인큐베이팅 \ 방해석 코어-1.2.0-incubating.jar; D : \ \ localMaven \ 조직 \ 아파치 \ 방해석 \ 방해석-linq4j 1.2.0-인큐베이팅 \ 방해석-linq4j-1.2.0-incubating.jar; D : \ localMaven \ NET \ hydromatic \ eigenbase-속성 \ 1.1.5 \ eigenbase - 속성 - 1.1.5.jar; D : \ localMaven \ 조직 \ codehaus 잭슨 \ 잭슨 - 매퍼 - 해발 \ \ 1.9.13 \ 잭슨 - 매퍼 -asl-1.9.13.jar; D : \ localMaven 가공 코덱 1.10 \ 몬즈 코덱 1.10.jar \ \ 가공 코덱 \; D : \ localMaven \ joda 타임 \ 시간의 joda \ 2.9.9 \ joda - 시간 - 2.9.9.jar; D : \ localMaven \ 조직 \ jodd \ jodd 코어 \ 3.5.2 \ jodd 코어-3.5.2.jar; D : 3.2 \ \ localMaven \ 조직 \ datanucleus \ datanucleus 코어 0.10 \ datanucleus 코어-3.2.10.jar; D : \ localMaven \ 조직 아파치 \ 중고품 \ \ libthrift 0.9.3 \ libthrift-0.9.3.jar \; D : \ localMaven \ 조직 \ 아파치 \ 중고품 \ libfb303 \ 0.9.3 \ libfb303-0.9.3.jar; D : \ localMaven \ 조직 아파치 \ 스파크 \ 스파크 sql_2.11 \ \ 2.1.1 \ 스파크 sql_2.11-2.1.1.jar; D : \ localMaven \ COM \ univocity \ univocity-파서 2.2 \.1 \ univocity-파서-2.2.1.jar; D : \ localMaven \ 조직 \ 스파크 sketch_2.11 아파치 \ 스파크 \ \ 2.1.1 \ 스파크 sketch_2.11-2.1.1.jar; D : \ localMaven \ 조직 아파치 \ 스파크 \ 스파크 catalyst_2.11 \ \ 2.1.1 \ 스파크 catalyst_2.11-2.1.1.jar; D : \ localMaven \ 조직 \ codehaus \ JANINO \ JANINO \ 2.7.8 \ JANINO-2.7.8 .JAR; D : \ localMaven \ 조직 \ ANTLR \ antlr4-런타임 \ 4.5.3 \ antlr4-런타임 4.5.3.jar; D : \ localMaven \ 조직 \ 아파치 \ 마루 \ 마루 열 \ 1.8.1 \ 마루 -Column-1.8.1.jar; D : \ localMaven \ 조직 \ 아파치 \ 마루 \ 마루 공통 \ 1.8.1 \ 마루 - 공통 1.8.1.jar; D : \ localMaven \ 조직 \ 아파치 \ 마루 \ 마루 -encoding \ 1.8.1 \ 마루 - 부호화 1.8.1.jar; D : 마루 - 하둡 1.8.1.jar \ 1.8.1 \ \ localMaven \ 조직 \ 아파치 \ 마루 \ 마루 - 하둡; D : \ localMaven \ 조직 \ 아파치 \ 마루 \ 마루 형식 \ 2.3.0-인큐베이팅 \ 마루 형식-2.3.0-incubating.jar; D : \ localMaven \ 조직 \ 아파치 \ 마루 \ 마루 잭슨 \ 1.8.1 \ parquet- 잭슨 1.8.1.jar; D :\ LocalMaven \의 MySQL \ MySQL을 커넥터 자바 \ 5.1.44 \ MySQL을 커넥터 자바 5.1.44.jar; D : \ localMaven \ 조직 \ SLF4J JCL 오버 SLF4J \ \ 1.7.22 \ JCL-과다 SLF4J-1.7.22.jar; D : \ localMaven \ 조직 \ SLF4J \ SLF4J-API \ 1.7.22 \ SLF4J-API-1.7.22.jar; D : \ localMaven \ 조직 \ SLF4J \ SLF4J log4j12-1.7 \. 22 \ SLF4J-log4j12-1.7.22.jar; D : \ localMaven \ log4j에 \ log4j에 \ 1.2.17 \의 log4j-1.2.17.jar; D : \ ADevTool \ 스칼라 2.11.8 \에 LIB를 \의 스칼라 actors- 2.11.0.jar; D : \ ADevTool의 \ 스칼라-2.11.8 \ lib 디렉토리의 \의 스칼라 - 배우 - migration_2.11-1.1.0.jar; D : \ ADevTool \ 스칼라-2.11.8의 \ lib 디렉토리의 \의 스칼라 라이브러리. 항아리; :; D D 스칼라-2.11.8 \ lib 디렉토리의 \의 스칼라 파서-combinators_2.11-1.0.4.jar \ ADevTool의 \ : \ ADevTool \ 스칼라-2.11.8의 \ lib 디렉토리의 \의 스칼라 - reflect.jar; D : 스칼라 - swing_2.11-1.0.2.jar lib 디렉토리의 \ \ \는 ADevTool \ 스칼라-2.11.8; D : \ ADevTool \ 스칼라-2.11.8 \ lib 디렉토리의 \의 스칼라 - xml_2.11-1.0.4.jar com.atguigu .gmall1205.exportsale.app.ExportSaleApp\ LocalMaven \ 조직 \ SLF4J JCL 오버 SLF4J \ 1.7.22 \ JCL 오버 SLF4J-1.7.22.jar \; D : \ localMaven \ 조직 \ SLF4J \ SLF4J-API \ 1.7.22 \ SLF4J-API- 1.7.22.jar; D : \ localMaven \ 조직 \ SLF4J \ SLF4J-log4j12 \ 1.7.22 \ SLF4J-log4j12-1.7.22.jar; D : \ localMaven \ log4j에 \ log4j에 \ 1.2.17 \ log4j에-1.2. 17.jar; D : \ ADevTool \ 스칼라-2.11.8의 \ lib 디렉토리의 \의 스칼라 - 배우 - 2.11.0.jar; D : \ ADevTool \ 스칼라-2.11.8 \ lib 디렉토리의 \의 스칼라 - 배우 - migration_2.11-1.1. 0.jar; D : \ ADevTool의 \ 스칼라 2.11.8의 \ LIB의 \의 스칼라 library.jar; D : \ ADevTool \ 스칼라 2.11.8 \에 LIB를 \ 스칼라 파서 combinators_2.11-1.0.4.jar; D : lib 디렉토리의 \의 스칼라 - reflect.jar \ \ ADevTool \ 스칼라-2.11.8; D : \ ADevTool \ 스칼라-2.11.8 \ lib 디렉토리의 \ 스칼라 - swing_2.11-1.0.2.jar; D : \ ADevTool \ 스칼라 -2.11.8 \ lib 디렉토리 \ 스칼라 - xml_2.11-1.0.4.jar com.atguigu.gmall1205.exportsale.app.ExportSaleApp\ LocalMaven \ 조직 \ SLF4J JCL 오버 SLF4J \ 1.7.22 \ JCL 오버 SLF4J-1.7.22.jar \; D : \ localMaven \ 조직 \ SLF4J \ SLF4J-API \ 1.7.22 \ SLF4J-API- 1.7.22.jar; D : \ localMaven \ 조직 \ SLF4J \ SLF4J-log4j12 \ 1.7.22 \ SLF4J-log4j12-1.7.22.jar; D : \ localMaven \ log4j에 \ log4j에 \ 1.2.17 \ log4j에-1.2. 17.jar; D : \ ADevTool \ 스칼라-2.11.8의 \ lib 디렉토리의 \의 스칼라 - 배우 - 2.11.0.jar; D : \ ADevTool \ 스칼라-2.11.8 \ lib 디렉토리의 \의 스칼라 - 배우 - migration_2.11-1.1. 0.jar; D : \ ADevTool의 \ 스칼라 2.11.8의 \ LIB의 \의 스칼라 library.jar; D : \ ADevTool \ 스칼라 2.11.8 \에 LIB를 \ 스칼라 파서 combinators_2.11-1.0.4.jar; D : lib 디렉토리의 \의 스칼라 - reflect.jar \ \ ADevTool \ 스칼라-2.11.8; D : \ ADevTool \ 스칼라-2.11.8 \ lib 디렉토리의 \ 스칼라 - swing_2.11-1.0.2.jar; D : \ ADevTool \ 스칼라 -2.11.8 \ lib 디렉토리 \ 스칼라 - xml_2.11-1.0.4.jar com.atguigu.gmall1205.exportsale.app.ExportSaleApp22 \ SLF4J-log4j12-1.7.22.jar; D : \ localMaven \ log4j에 \ log4j에 \ 1.2.17 \의 log4j-1.2.17.jar; D : \ ADevTool \ 스칼라 2.11.8 \에 LIB를 \의 스칼라 actors- 2.11.0.jar; D : \ ADevTool의 \ 스칼라-2.11.8 \ lib 디렉토리의 \의 스칼라 - 배우 - migration_2.11-1.1.0.jar; D : \ ADevTool \ 스칼라-2.11.8의 \ lib 디렉토리의 \의 스칼라 라이브러리. 항아리; :; D D 스칼라-2.11.8 \ lib 디렉토리의 \의 스칼라 파서-combinators_2.11-1.0.4.jar \ ADevTool의 \ : \ ADevTool \ 스칼라-2.11.8의 \ lib 디렉토리의 \의 스칼라 - reflect.jar; D : 스칼라 - swing_2.11-1.0.2.jar lib 디렉토리의 \ \ \는 ADevTool \ 스칼라-2.11.8; D : \ ADevTool \ 스칼라-2.11.8 \ lib 디렉토리의 \의 스칼라 - xml_2.11-1.0.4.jar com.atguigu .gmall1205.exportsale.app.ExportSaleApp22 \ SLF4J-log4j12-1.7.22.jar; D : \ localMaven \ log4j에 \ log4j에 \ 1.2.17 \의 log4j-1.2.17.jar; D : \ ADevTool \ 스칼라 2.11.8 \에 LIB를 \의 스칼라 actors- 2.11.0.jar; D : \ ADevTool의 \ 스칼라-2.11.8 \ lib 디렉토리의 \의 스칼라 - 배우 - migration_2.11-1.1.0.jar; D : \ ADevTool \ 스칼라-2.11.8의 \ lib 디렉토리의 \의 스칼라 라이브러리. 항아리; :; D D 스칼라-2.11.8 \ lib 디렉토리의 \의 스칼라 파서-combinators_2.11-1.0.4.jar \ ADevTool의 \ : \ ADevTool \ 스칼라-2.11.8의 \ lib 디렉토리의 \의 스칼라 - reflect.jar; D : 스칼라 - swing_2.11-1.0.2.jar lib 디렉토리의 \ \ \는 ADevTool \ 스칼라-2.11.8; D : \ ADevTool \ 스칼라-2.11.8 \ lib 디렉토리의 \의 스칼라 - xml_2.11-1.0.4.jar com.atguigu .gmall1205.exportsale.app.ExportSaleApp항아리, D : \ ADevTool \ 스칼라-2.11.8의 \ lib 디렉토리의 \ 스칼라 - swing_2.11-1.0.2.jar; D : \ ADevTool \ 스칼라-2.11.8의 \ lib 디렉토리의 \의 스칼라 - xml_2.11-1.0.4. com.atguigu.gmall1205.exportsale.app.ExportSaleApp 항아리항아리, D : \ ADevTool \ 스칼라-2.11.8의 \ lib 디렉토리의 \ 스칼라 - swing_2.11-1.0.2.jar; D : \ ADevTool \ 스칼라-2.11.8의 \ lib 디렉토리의 \의 스칼라 - xml_2.11-1.0.4. com.atguigu.gmall1205.exportsale.app.ExportSaleApp 항아리 스레드 "주요"java.lang.IllegalArgumentException가 예외 : 오류 'org.apache.spark.sql.hive.HiveSessionState'을 인스턴스화하는 동안 org.apache.spark.sql.SparkSession의 $ .ORG의 $ 아파치 $ 스파크 $의 SQL $의 SparkSession에서 (981 SparkSession.scala)를 반영 $$ : $ org.apache.spark.sql.SparkSession.sessionState lzycompute (110 SparkSession.scala)에 org.apache.spark.sql.SparkSession.sessionState에서 (SparkSession.scala : 109) : org.apache.spark.sql.SparkSession $ 빌더 $$ anonfun $ getOrCreate $ 5.apply (878 SparkSession.scala)에서 org.apache.spark.sql.SparkSession $ 빌더에서 $$ anonfun $ getOrCreate $ 5.apply (SparkSession. 878) : 스칼라 scala.collection.mutable.HashMap $$ anonfun $ foreach는 $ 1.apply에서 (HashMap.scala : 99) scala.collection.mutable.HashMap $$ anonfun $ foreach는 $ 1.apply에서 (HashMap.scala : 99) : scala.collection.mutable.HashTable $ class.foreachEntry (230 HashTable.scala)에서 scala.collection.mutable.HashMap.foreachEntry (HashMap.scala : 40)에서 scala.collection.mutable.HashMap.foreach에서 (HashMap.scala : 99) org.apache.spark.sql.SparkSession $ Builder.getOrCreate (SparkSession.scala에서 : 878) com.atguigu.gmall1205.exportsale.app.ExportSaleApp $의 .main에서 (ExportSaleApp.scala : 23) com.atguigu에서 .gmall1205.exportsale.app.ExportSaleApp.main (ExportSaleApp.scala) java.lang.reflect.InvocationTargetException :에 의한 sun.reflect.NativeConstructorAccessorImpl.newInstance0 (기본 방법)에 sun.reflect.NativeConstructorAccessorImpl.newInstance에서 (NativeConstructorAccessorImpl.java : 62) sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:45)에서 java.lang.reflect.Constructor.newInstance (Constructor.java:423)에서 org.apache.spark.sql.SparkSession $ .ORG의 $ 아파치 $ 스파크 $에서 : SQL $ SparkSession는 (978 SparkSession.scala)를 반영 $$ (12)가 더 ... java.lang.IllegalArgumentException가 :에 의한 오류 'org.apache.spark.sql.hive.HiveExternalCatalog'을 인스턴스화하는 동안 : org.apache.spark에서 .sql.internal.SharedState $ .ORG $으로 아파치 $ 스파크 $ SQL $으로 내부에 $은 SharedState는 $$ (SharedState.scala : 169) 반영 . org.apache.spark.sql.internal.SharedState시를 <초기화> (SharedState.scala을 : 86) org.apache.spark.sql.SparkSession $$ anonfun $은 SharedState $ 1.apply에서 (SparkSession.scala : 101) : org.apache.spark.sql.SparkSession $$ anonfun $은 SharedState $ 1.apply (101 SparkSession.scala)에서 scala.Option.getOrElse에서 (Option.scala 121) org.apache.spark.sql.SparkSession.sharedState에서 $의 lzycompute (SparkSession.scala : 101) org.apache.spark.sql.SparkSession.sharedState (SparkSession.scala 100)에서 . org.apache.spark.sql.internal.SessionState에서 <초기화> (SessionState.scala 157 ) org.apache.spark.sql.hive.HiveSessionState에서 <초기화> (HiveSessionState.scala :. 32) ... (17) 이상 으로 인한 : java.lang.reflect.InvocationTargetException sun.reflect.NativeConstructorAccessorImpl.newInstance0에서 (원시 메소드 ) sun.reflect.NativeConstructorAccessorImpl.newInstance에서 (NativeConstructorAccessorImpl.java:62) sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:45)에서 java.lang.reflect.Constructor.newInstance에서 (Constructor.java:423) org.apache.spark.sql.internal.SharedState $ .ORG의 $ 아파치 $에서 스파크 $의 SQL $으로 내부에 $은 SharedState은 (SharedState.scala가 : 166) 반영 $$ ... (25) 이상 : java.lang.reflect.InvocationTargetException에 의한 sun.reflect.NativeConstructorAccessorImpl.newInstance0 (원시 메소드)에 sun.reflect.NativeConstructorAccessorImpl에서 .newInstance (NativeConstructorAccessorImpl.java:62) sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:45)에서 java.lang.reflect.Constructor.newInstance에서 (Constructor.java:423) : org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient (264 IsolatedClientLoader.scala)에서 : org.apache.spark.sql.hive.HiveUtils $ .newClientForMetadata (358 HiveUtils.scala)에서 org.apache에서. : $ spark.sql.hive.HiveUtils .newClientForMetadata (262 HiveUtils.scala) org.apache.spark.sql.hive.HiveExternalCatalog에서 <초기화> (HiveExternalCatalog.scala : 66). ... (30) 이상 : 자바에 의한. lang.RuntimeException : java.lang.NullPointerException이 org.apache.hadoop.hive.ql.session.SessionState.start (SessionState.java:522)에서 . org.apache.spark.sql.hive.client.HiveClientImpl에서 <초기화> (HiveClientImpl.scala : 188) ... (38) 이상 : java.lang.NullPointerException이에 의한 java.lang.ProcessBuilder.start (ProcessBuilder.java:1012)에서 org.apache.hadoop.util.Shell.runCommand (Shell.java:404)에서 org.apache.hadoop.util.Shell.run에서 (Shell.java:379) org.apache.hadoop.util.Shell $ ShellCommandExecutor에서 .Execute를 (Shell.java:589) org.apache.hadoop.util.Shell.execCommand (Shell.java:678)에서 org.apache.hadoop.util.Shell.execCommand에서 (Shell.java:661) 조직에서. apache.hadoop.fs.RawLocalFileSystem.setPermission (RawLocalFileSystem.java:639) org.apache.hadoop.fs.RawLocalFileSystem.mkdirs (RawLocalFileSystem.java:435)에서 org.apache.hadoop.fs.FilterFileSystem.mkdirs에서 (FilterFileSystem. 자바 : 277) org.apache.hadoop.hive.ql.exec.Utilities.createDirsWithPermission (Utilities.java:3679)에서 org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir에서 (SessionState.java:597) org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs (SessionState.java:554)에서 org.apache.hadoop.hive.ql.session.SessionState.start에서 (SessionState.java:508) ... (39) 더

 이 오류 분화구 : 원인이 문제가 해결 된 후 다시 시작되지 않은 컴퓨터를 다시 시작, 지역 환경의 하둡 창 일부 매개 변수를 갱신 구성하는 것입니다.

세 : 오류가 여전히 위치를 가리 있지만 같은 오류 메시지가 관련된 오류 메시지와 권리 : 후 오류가 위의 문제 해결
오류 :

특정 오류 :

Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState': at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:981) at org.apache.spark.sql.SparkSession.sessionState$lzycompute(SparkSession.scala:110) at org.apache.spark.sql.SparkSession.sessionState(SparkSession.scala:109) at org.apache.spark.sql.SparkSession$Builder$$anonfun$getOrCreate$5.apply(SparkSession.scala:878) at org.apache.spark.sql.SparkSession$Builder$$anonfun$getOrCreate$5.apply(SparkSession.scala:878) at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:99) at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:99) at scala.collection.mutable.HashTable$class.foreachEntry(HashTable.scala:230) at scala.collection.mutable.HashMap.foreachEntry(HashMap.scala:40) at scala.collection.mutable.HashMap.foreach(HashMap.scala:99) at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:878) at com.atguigu.gmall1205.exportsale.app.ExportSaleApp$.main(ExportSaleApp.scala:24) at com.atguigu.gmall1205.exportsale.app.ExportSaleApp.main(ExportSaleApp.scala) Caused by: java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:978) ... 12 more Caused by: java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveExternalCatalog': at org.apache.spark.sql.internal.SharedState$.org$apache$spark$sql$internal$SharedState$$reflect(SharedState.scala:169) at org.apache.spark.sql.internal.SharedState.<init>(SharedState.scala:86) at org.apache.spark.sql.SparkSession$$anonfun$sharedState$1.apply(SparkSession.scala:101) at org.apache.spark.sql.SparkSession$$anonfun$sharedState$1.apply(SparkSession.scala:101) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.sql.SparkSession.sharedState$lzycompute(SparkSession.scala:101) at org.apache.spark.sql.SparkSession.sharedState(SparkSession.scala:100) at org.apache.spark.sql.internal.SessionState.<init>(SessionState.scala:157) at org.apache.spark.sql.hive.HiveSessionState.<init>(HiveSessionState.scala:32) ... 17 more Caused by: java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.apache.spark.sql.internal.SharedState$.org$apache$spark$sql$internal$SharedState$$reflect(SharedState.scala:166) ... 25 more Caused by: java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient(IsolatedClientLoader.scala:264) at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:358) at org.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:262) at org.apache.spark.sql.hive.HiveExternalCatalog.<init>(HiveExternalCatalog.scala:66) ... 30 more Caused by: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: --------- at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522) at org.apache.spark.sql.hive.client.HiveClientImpl.<init>(HiveClientImpl.scala:188) ... 38 more Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: --------- at org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:612) at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:554) at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:508) ... 39 more

解决办法：

很多帖子说是目录访问权限问题，需要给目录授权，然而授权后还是报错。hadoop fs -chmod 777 /tmp/hive

经过多次尝试，在idea环境中的hive-site.xml文件中添加一下配置后问题解决了

<property> <name>hive.exec.scratchdir</name> <value>hdfs://hadoop102:9000/tmp/hive</value> </property>

因为直接通过命令行默认hive-site.xml中的/tmp/hive就是在HDFS上的路径，但是在IDEA中则默认为系统的文件系统路径，所以会存在找不到文件或者目录的情况，需要指定 hdfs://hadoop102:9000/tmp/hive