스파크 SQL은 하이브의 데이터에 액세스하는 두 가지 도구를 제공하는 CLI 및 ThriftServer. 스파크 전제는 하이브, 하이브 또한 $ SPARK_HOME / conf 디렉토리에 (하이브 각지에서 복사 할 수 있습니다) 그 하이브를 site.xml 구성 파일을 확인해야합니다, 스파크를 컴파일 하이브 - thriftserver 옵션을 가지고 요구를 지원할 필요가있다. 주요 구성 파일 URI (점화 및 CLI ThriftServer 요구) 및 (등 hive.server2.thrift.bind.host, hive.server2.thrift.port 등) ThriftServer 관련 구성 항목 하이브 메타 스토어를 구성한다. 참고는 컴퓨터에 하이브 ThriftServer 및 스파크 ThriftServer을 실행하거나 다른 포트 구성 포트와 불꽃 hive.server2.thrift.port 구성 하이브 같은의를 hive.server2.thrift.port하는 경우, 동시 기동을 피하기 위해 때 포트 충돌.
모두 당신은 CLI 및 ThriftServer을 시작하기 전에 하이브 메타 스토어를 시작해야합니다. 시작하려면 다음 명령을 실행합니다 :
[BruceCentOS ~ @ 루트] # nohup을 하이브 --service 메타 스토어 &
성공적인 시작 후, RunJar의 과정이 나타납니다 및 포트 9083 (기본 포트 하이브 메타 스토어)에서 수신 대기합니다.
우선 검토 CLI는 CLI는 스파크-SQL 스크립트에 의해 사용됩니다. 다음 명령을 실행합니다 :
[루트 @ BruceCentOS4 스파크] # $ SPARK_HOME / 빈 / 스파크-SQL --master 실
아래와 같이 명령 상기 스파크 패턴 실행 후 얀 클라이언트 응용 프로그램을 시작한다 :
이 하이브 메타 스토어에 연결하는 동시에, 당신은 스파크-SQL에서 하이브 SQL 문을 실행할 수있는 프롬프트가 나타납니다>, 예를 들어 :
상기 각 입력 및 실행하는 바와 같은 SQL 문 스파크 작업의 구현에 해당 :
그 불꽃-SQL 스크립트 실행 후 불꽃-SQL> 프롬프트에서 각 SQL 문이 불꽃의 작업의 프롬프트에서 실행되지만, 모든 동일이 해당하는 원사 example.com의 clien 모델 스파크 응용 프로그램을 시작합니다 응용 프로그램. 실행이 응용 프로그램은, 당신은 입력 할 때까지 SQL 문이 작업을 실행 입력을 계속할 수 있습니다 "종료;", 다음, 즉 응용 프로그램이 종료 불꽃, 스파크-SQL을 종료합니다.
먼저 필요 ThriftServer 스파크에 다음 JDBC를 통해 SQL 점화 직선 쓰기 자신의 프로그램이나 스파크 방법에를 사용하여 SQL 점화 ThriftServer에서 사용하는 또 다른 좋은 방법.
다음 명령 ThriftServer 시작 스파크 :
[루트 @ BruceCentOS4 스파크] # $ SPARK_HOME 경우 / sbin / start-thriftserver.sh --master 실
상기 명령을 실행 한 결과, 아래와 같이 SparkSubmit 프로세스 실제로 얀 스파크 클라이언트 응용 프로그램 모드를 시작 생성
그리고 사용자가 액세스 스파크 SQL 데이터에 ThriftServer JDBC / ODBC 인터페이스를 통해 연결할 수는 JDBC / ODBC 인터페이스를 제공합니다. 스파크 직선 특별히 프로그램 ThriftServer JDBC를 사용하여 제공되거나 연결된다. 예를 들어, 스파크 ThriftServer를 시작한 후, 스파크 SQL은 다음 명령 직선을 사용하여 데이터를 액세스 할 수 있습니다.
[BruceCentOS3 스파크 @ 루트] # $ SPARK_HOME / 빈 / 직선 -n 루트 -u JDBC : hive2 : //BruceCentOS4.Hadoop : 10003
BruceCentOS4 포트 10003에 연결 위 직선, 즉 스파크 ThriftServer. 같은 불꽃 응용 프로그램을 공유 ThriftServer 또는 JDBC 프로그램 클라이언트 직선에 대한 모든 연결은 SQL 상당 제출하고 직선 또는 JDBC 프로그램에 의해 실행에 작업 응용 프로그램을 실행합니다. 프롬프트에서 다음을 입력! "종료"명령을 종료 직선으로.
당신이 ThriftServer (정지 스파크 응용 프로그램)를 중지하려는 경우 마지막으로, 다음 명령을 수행해야합니다 :
[루트 @ BruceCentOS4 스파크] # $ SPARK_HOME 경우 / sbin / stop-thriftserver.sh
요약하면, CLI 및 ThriftServer 점화 SQL, 후자 더 클라이언트 또는 JDBC 클라이언트 프로그램 직선 복수가 될 수 후자는 경량이기 때문에, 단지 시작 ThriftServer (스파크 응용 프로그램에 해당)이 필요합니다 추천 CLI를가 불꽃 응용 프로그램 시작 전 시작, 당신은 하나의 사용자를 줄 수있는 반면, SQL의 사용을 종료합니다.