맥 OSX 시스템 하둡 / 하이브와 스파크 설치 및 구성 환경 기록
하둡 2.6 설치 및 구성 (가상 분산)
- 다운로드 및 압축 해제
- 구성 .bash_profile에 :
-
- 수출 HADOOP_HOME은 = / 사용자 / 팬 / 응용 프로그램 / 하둡 - 2.6.0
- 수출 PATH = $ HADOOP_HOME / 빈 : $ HADOOP_HOME 경우 / sbin : $ PATH
- HDFS 구성 :
-
-
등 / 하둡 / 코어를 site.xml :<구성><특성><이름> fs.defaultFS </ 이름><값> HDFS : // 로컬 호스트 : 9000 </ 값></ 속성></ 구성>등 / 하둡 / HDFS-site.xml 파일 :<구성><특성><이름> dfs.replication </ 이름><값> 1 </ 값></ 속성></ 구성>, SSH 자동 로그인을 구성 노드와 네임 노드 관리 데이터 노드 간의 데이터 전송을 용이하게
-
- 맥 : 설정 -> 형 주식> 원격 로그인을 활성화 활성화 파일 공유
- 기타
-
-
설정 passphraseless ssh를
이제 당신은 암호없이 로컬 호스트에 ssh를 수 있는지 확인 :$ ssh를 로컬 호스트당신이 암호없이 localhost에 ssh를 할 수없는 경우, 다음 명령을 실행합니다 :$ ssh를-Keygen은 -t DSA -P ''-f ~ / 스푸핑 / id_dsa$ 고양이 ~ / 스푸핑 / id_dsa.pub >> ~ / 스푸핑 / authorized_keys에$은 0600 ~ / 스푸핑 / authorized_keys에 chmod를
-
-
- 시작 HDFS :
-
-
빈 / HDFS 네임 노드 -format
- Start-dfs.sh
-
- HDFS는 웹 UI 관리 페이지를 테스트 :
-
- 50070 포트 관리 분산 파일 시스템 HDFS
- 구성 YARN :
-
-
구성 매개 변수로 다음과 등 / 하둡 / mapred-site.xml 파일을 :등 / 하둡 / 원사를 site.xml :<구성><특성><이름> yarn.nodemanager.aux-서비스 </ 이름><값> mapreduce_shuffle </ 값></ 속성></ 구성>
-
- 시작 YARN :
-
-
sbin에 / start-yarn.sh
-
- 테스트 원사의 웹 UI 관리 페이지 : 로컬 호스트 : 8088 /
Start-dfs.sh 시작 문제 :
- 네임 노드를 시작할 수 없습니다,하지만 오류 메시지가 하이브 시작할 때 나타납니다
-
Connecting to ResourceManager at /0.0.0.0:8032java.net.ConnectException: Call From marta-komputer/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
다음과 같은 특정 문제를 추적, /Users/fan/Applications/hadoop-2.6.0/logs/hadoop-fan-namenode-MacBook.log : 그 이유는 네임 노드는의 start-dfs.sh을 보려면 다음 로그 파일을 사용할 수 있습니다 시작하는 데 실패 :
존재하지 않는 저장 디렉토리 (하둡 / HDFS / 데이터 /) 또는 액세스 할 수 없습니다 : 하둡 / HDFS / 이름은 일관성이없는 상태입니다
해결 방법 :
- [CORRECT HDFS-SITE.XML]
<특성>
<이름> dfs.namenode.name.dir </ 이름>
<값> / 홈 / hduser / mydata을 / HDFS / 네임 노드 </ 값>
</ 속성>
<특성>
<이름> dfs.datanode.data.dir </ 이름>
<값> / 홈 / hduser / mydata을 / HDFS / 데이터 노드 </ 값>
</ 속성>
- 실행 하둡 네임 노드는 대상 디렉토리를 포맷 -format
- Start-dfs.sh 시작 HDFS
2.1.1 설치 및 구성을 하이브 :
- 다운로드
- .bash_profile을 구성 파일 :
-
- 수출 HIVE_HOME = XXX
- 수출 PATH = $ HIVE_HOME / 빈 : $ PATH에
- 하이브-default.xml에-template.xml이 conf 디렉토리 이름 바꾸기를 복사 : 하이브-site.xml 파일을
- 하이브를 site.xml 수정 구성된 schematool -dbType MySQL의 -initSchema 초기화 메타 대응 툴 구성 메타 스토어
-
- 드라이버 관련 하이브를 site.xml 테이블 MySQL의 연결 구성을 수정합니다 :
-
- URL :적인 driverName MySQL의 사용자 암호 등을 참조
- lib 디렉토리 디렉토리에 다운로드 mysql을 - connector.jar
- 시작하고 MySQL의 서비스를 수정
- 실행 : schematool -dbType mysql을 -initSchema
- : 하이브-site.xml의 구성 수정 http://stackoverflow.com/questions/27099898/java-net-urisyntaxexception-when-starting-hive을
-
-
<이름> hive.exec.scratchdir </ 이름><값> / tmp를 / 하이브 - $ {user.name} </ 값><이름> hive.exec.local.scratchdir </ 이름><값> / tmp를 / $ {user.name} </ 값><이름> hive.downloaded.resources.dir </ 이름><값> / tmp를 / $ {user.name} _resources </ 값><이름> hive.scratch.dir.permission </ 이름><값> 733 </ 값>
-
- 시작 하이브 테스트
Spark2.1.0-hadoop2.6 설치 :
- 다운로드
- 增加 수출 spark_classpath = mysql.connector.xxx.jar
- 다음 스파크로 디렉터리에 하이브 하이브를 site.xml 구성 파일을 복사
- 启动 스파크 - 쉘 测试 发现 :에 의해 aused : MetaException가 (메시지 : 하이브 스키마 버전 1.2.0은 메타 스토어의 스키마 버전과 일치하지 않습니다 2.1.0 메타 스토어가 업그레이드되거나 손상되지 않음)
- 해결 방법 : 구성을 수정 : https://docs.hortonworks.com/HDPDocuments/Ambari-2.2.2.0/bk_releasenotes_ambari_2.2.2.0/content/ambari_relnotes-2.2.2.0-known-issues.html
- 성공적으로 실행하기 위해 스파크 - 쉘.
당신은 사용할 수 있습니다
시동 및 사용과 맥 시스템에서 HBase를 설치 구성
- 다운로드
- ~ / 응용 프로그램 디렉토리에 CP
- 자바 홈 Hbase-env.sh 구성 : 수출 JAVA_HOME = / 사용자 / 팬 / .jenv / 버전 / 1.8
- HBase를-site.xml의 구성 파일 :
-
- <특성>
- <이름> hbase.cluster.distributed </ 이름>
- <값> 진정한 </ 값>
- </ 속성>
- <특성>
- <이름 hbase.rootdir >> </ 이름>
- <값> HDFS : // 로컬 호스트 : 9000 / 사용자 / HBase와 </ 값>
- </ 속성>
- HBase를 HDFS에 대한 폴더 만들기 : 하둡 FS -mkdir / 사용자 / HBase를을;
- 구성 환경 변수 :
-
- 수출 HBASE_HOME은 = / 사용자 / 팬 / 응용 프로그램 / HBase를-1.2.4
- 수출 PATH = $ HBASE_HOME / 빈 : $ PATH에
- 시작 HBase를 :
-
- zkServer.sh 시작
- Start-hbase.sh
- hbase-daemon.sh 시작 중고품 (파이썬 편리하게 연결)
- HBase를 쉘 (CLI 환경)
- 보기 UI를 웹 사이트 : HTTP : // 로컬 호스트 : 16010 / 마스터 현황
- HBase를 CLI : HBase를 쉘
사육사 설치 구성 및 사용
- 구성 : CP의 conf / zoo_sample.cfg conf의 / zoo.cfg
- 출발
-
- zkServer.sh 시작
- 정지 :
-
- zkServer.sh 정지
- 쉘 :
-
- zkCli.sh
카프카의 설치 구성 및 사용
- 다운로드
- 응용 프로그램 디렉토리에 복사
- 설치와 종속 사육사를 구성했습니다.
- 환경 변수를 설정합니다 :
-
- KAFKA_HOME =
- 카프카 시작하고 생산자와 소비자 테스트
-
-
사육사 서비스를 시작합니다 :카프카는 먼저 시작 Zookper의, 단순히 Zookkeeper 아래 서비스의 단일 인스턴스 활성화 사육사를 사용합니다. 당신은 명령 콘솔 추가 및 심볼의 종료 후 남길 수 있습니다, 그래서 당신은 시작할 수 있습니다.
- > 빈 / zookeeper-server-start.sh 설정 / zookeeper.properties &
- [2013년 4월 22일 15 : 01 : 37495]에서 INFO 읽기 구성 : 설정 / zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
- ...
2. 이제 카프카를 시작합니다 :- > 빈 / kafka-server-start.sh 설정 / server.properties
- [2013년 4월 22일 15 : 01 : 47028] INFO 확인 속성 (kafka.utils.VerifiableProperties)
- [2013년 4월 22일 15 : 01 : 47051] INFO 속성 socket.send.buffer.bytes이 1048576을 오버라이드 (kafka.utils.VerifiableProperties)
- .
3 : 주제화제의 "테스트"라고 하나, 그것은 단지 파티션, 복사본입니다 만듭니다.- > 빈 / kafka-topics.sh --create --zookeeper 로컬 호스트 : 2181 --replication 요인 1 --partitions 1 개 --topic 테스트
당신은 목록 명령으로 작성된 항목을 볼 수 있습니다 :- > 빈 / kafka-topics.sh --list --zookeeper 로컬 호스트 : 2181
- 테스트
수동 항목을 만들뿐 아니라 자동 브로커 항목을 만들 구성 할 수 있습니다.4 : 메시지 보내기.카프카는 간단한 명령 줄 프로듀서를 사용하거나 메시지가 서버에서 전송 표준 입력 파일에서 읽습니다. 메시지를 보낼 각 명령을 기본.일부 실행 프로듀서는 콘솔 메시지 출력, 이러한 메시지는 서버로 전송됩니다 :- > 빈 / kafka-console-producer.sh이 --broker리스트 로컬 호스트 : 9092 --topic 테스트
- 이것은입니다 메시지 것은 또 다른 메시지입니다
종료 Ctrl + C를 보낼 수 있습니다.5 : 시작 소비자카프카는 표준 출력에 메시지를 덤프하는 명령 줄 소비자가 있습니다.카프카는 또한 명령 행 소비자가 메시지를 표준 출력에 읽을 수있다 :- > 빈 / kafka-console-consumer.sh --zookeeper 로컬 호스트 : 2181 --topic 테스트 --from-시작
- 이 메시지입니다
- 이것은 또 다른 메시지입니다
당신은 명령 창에서 소비자를 실행, 다른 터미널 실행 프로듀서 명령 줄 입력 메시지가 터미널 수 있으며, 또 다른 터미널은 메시지를 읽습니다.두 명령은 자신의 선택적 매개 변수가 실행 시간에 매개 변수의 도움없이 볼 수있다.
-