최근 사육사 봐, 그래서를 설치하고 싶어하고, 하둡을 참조 학습 사이트 하둡 비디오는 우리 모두가 알고 찾아 갔다, xsync 동기화 프로필 유용 언급했다.
비디오 자습서 컴파일 hadoop2.6 또는 2.7 centos6된다. 나는 가상 머신을 다시 설치하고, 파이썬 전에 포장 ubuntu14 놀고 싶어하지 않습니다. 다음 스텝 구덩이 과정의 연속이다.
내 구성 비디오의 구성의 차이에 대해 이야기하자
// 비디오 VM = vmstation OS = CentOS는 6 JRE = 1.7 / 1.8 SSH = securityCRT // 내 VM = VM 버추얼 OS = ubuntu14 JRE = 1.7 .0_201 // 이 단순히 너무 구덩이, 다시 말 SSH = Xshell
나는, 처음 4 개 개의 가상 머신을 복사 한 뒤 있기 때문에 할 수있는 일을 클러스터.
첫 번째 구덩이 : 고정 IP, DNS, 호스트 변경
여기 ubuntu14와 CentOS는 구성 파일이 동일하지 않습니다. 내가 직접 작업을 ssh를 우분투의 창을 해제.
세부 사항으로 가지 않는이, 우리는 바이 또는 참조를 소유 할 수 있습니다 여기에 , 키는 카드의 이름이 유효보고, 멀티 카드 환경, 그것은 여기에 매우 중요이라면, 해당 구성 인터페이스를 수정하는 것입니다.
두 번째 구덩이 : 자바 환경
내 4 개 개의 가상 머신은, 하나는, 1.7와 1.8 세 개의 다른 클론이 작성된다. 이 버전 1.7 좋은 빌드 인프라 환경을 확인하거나 많은 시간을 낭비해야 컴파일 할 때, 우리는 뒤에 자신에 일어날 때 나는 다음의 소스 코드를 컴파일합니다. 일부 학생들이 물어, 1.7, 1.8 그래서 어떤 차이가 있습니까? 1.8없는 치료 년 동일의 javadoc는이 나 자신 바이, 나의 포인트는 여기에 관련이와 나는 이야기합니다. 에서 JDK 8에서 자바 독은 JDK 8에 우리 뒤에 하둡을 컴파일하는 동안, 도구 플러그인 메이븐의 사용이,이 도구의 주된 목적은, W3C HTML 4.01 사양 표준 HTML 문서의 준수를 얻기 위해 설계, doclint 추가 이 doclint을 충족하지 않는 한, 다음의 Javadoc를 얻을 수 없었다. 그리고 1.7이이 없습니다. 다음으로 우리는 다시이 점에있을 것이다 것입니다.
세 번째 구덩이 : 컴파일 하둡
나 소스 코드 BUILDING.txt 가방 봐야 될해야하는지에 대해 얘기하자, 일반적으로 컴파일 된 가이드 라인은, 환경을 구축, 의존, 단계, 난 그냥이를 볼 수 있지만, 단지 인터넷에서 튜토리얼을 찾기 위해 매우 분명하게 말 컴파일러 버전 2.6. 오류에 다음 작업을 다시 수행합니다.
먼저 그것에 대해 지침을 게시, 첫 번째는 빌드 환경 요구 사항입니다 :
요구 사항 : * 유닉스 시스템 * JDK 1.8 + * 메이븐 3.0 이상 또는 * Findbugs 1.3 . 9 ( 만약 실행 findbugs) * ProtocolBuffer 2.5 . 0 * CMake 2.6 이상을 ( 경우 네이티브 코드를 컴파일)해야합니다 3.0 Mac에서 이상 * Zlib의의 (STABLE)을 ( 경우 네이티브 코드를 컴파일) (*하려면 openssl (STABLE)을 하는 경우 기본 hadoop- 컴파일 파이프를 최고의 HDFS 암호화 성능을 얻을 수) 리눅스 * FUSE (파일 시스템 에서사용자 공간) 버전 2.6 이상 또는 ( 경우 ) fuse_dfs를 컴파일 * 인터넷 연결 에 대한 (모든 메이븐과 하둡 종속성을 가져 오기 위해) 먼저 빌드 * (파이썬 에 대한 ) releasedocs * 클럽 ( 대한 쉘 코드 테스트) * Node.js를 / 정자 / 엠버 - CLI ( 용 YARN UI V2 건물)
, 사람들이 물어 봐 것은 jdk1.8의 maven3 이상입니다. 내 자신의 jdk1.7, maven2의 결과는, 나는 3. JDK 업그레이드 받는다는 뒤에 넣어 그리고 난 항상 그들이 변경하지 않은 그는 1.8라고 생각하고 난파선을 구덩이입니다했다.
- 방법은, 가장 쉬운 방법은 고정 표시기의 업입니다. 명령이 확인을 실행합니다.
모든 적절한 도구와 환경을 얻을 수있는 가장 쉬운 방법은 수단입니다 제공된 도커 설정의. 이것은 (고정 표시기의 최신 버전이 필요합니다 1.4 . 1 이상이 일을하는 것으로 알려져있다). 리눅스 : 도커를 설치하고이 명령을 실행 : $입니다. / 시작으로 Build- ENV . 쉬
우리는 여기에 리눅스에서 있으며, 다음 단계는, 사실, 공식 문서는 컴파일러, 그것은 깨끗하고 새로운 설치하는 것이 좋습니다 경우, 제안 된 우분투 14.04 LTS 데스크탑. 그런 다음 등등 스크래치 JDK, 받는다는과에서 설치 .
필요한 패키지를 설치하기 위해 클린 설치 우분투 14.04 : LTS 데스크탑 * 오라클 JDK 1.8 (선호) $의 는 sudo apt-get을 퍼지 오픈 JDK *의 $의 는 sudo apt-get을 설치 소프트웨어 - 속성 - 일반 $에 sudo를 추가 쉽다 - 저장소 PPA를 : webupd8team / 자바 $ sudo는 apt- GET 업데이트 $의 는 sudo apt-get을 설치를 오라클 - java8-하여 설치 * 메이븐 $의 는 sudo는 apt-get을 -y 설치받는다는 * 네이티브 라이브러리 $의 는 sudo apt-get을 -y 설치 빌드 - 필수의 autoconf automake에를 libtool이 cmake zlib1g-dev에 PKG-설정 libssl- DEV * ProtocolBuffer 2.5 . 0 (필수) $의 는 sudo apt-get을 -y 설치 protobuf- 컴파일러 옵션 패키지 : * 뭐 이따위 압축 $의 는 sudo apt-get을 설치 물어 libsnappy- dev에 * 인텔 ISA-L 라이브러리 에 대한 코딩 삭제 HTTPS를 참조하십시오 : //01.org/intel%C2%AE-storage-acceleration-library-open-source-version (또는 https : // github.com/01org/isa-l) * Bzip2의 $의 는 sudo apt-get을 설치 bzip2에 libbz2- dev에 * 얀손 (C 라이브러리 에 대한 JSON) $의 는 sudo apt-get을 설치 libjansson- dev에 * 리눅스 FUSE의 $의 는 sudo apt-get을 설치 퓨즈 libfuse-DEV
관련 운영 받는다는 이해하는 모든 사람을 물어 여기 받는다는에 능숙 할 필요가 있지만, 적어도 알고있다 MVN -P, -D 이러한 매개 변수는 분명 바이두,이 조각을 사용하는 방법, 사용하고 있습니다.
메이븐 목표를 구축 : * 정리 : MVN 깨끗한 [- Preleasedocs] * 컴파일 MVN 컴파일 [을 - Pnative] * 테스트를 실행 : MVN 테스트 [-Pnative] [- Pshelltest] * JAR 만들기 : MVN 패키지를 * 실행 findbugs : MVN findbugs를 컴파일 : findbugs * 실행 checkstyle : MVN 컴파일 checkstyle : checkstyle은 * JAR 설치 에서 M2 캐시 : MVN 설치 * 메이븐의 repo에 JAR 배포 : MVN 배포 * 실행 클로버 : [-DcloverLicenseLocation = $ {user.name} / -Pclover MVN 테스트 .clover. 특허] * 실행 쥐 : MVN apache-의 쥐 : 확인 * 의 javadoc를 구축 : MVN의 javadoc : javadoc의 * 분포를 구축 : MVN 패키지 [-Pdist] [- Pdocs] [- PSRC] [- Pnative] [- Dtar] [- Preleasedocs] [- Pyarn- UI] * 변경 하둡 버전 : MVN 버전 : 설정 -DnewVersion = NEWVERSION 구축 옵션 : * 사용 -Pnative는 / 컴파일 네이티브 코드 번들 생성 및 문서를 묶을 * 사용 -Pdocs 에서 - (사용 분포를 Pdist을) * 사용 - PSRC 프로젝트 소스 tar.gz의 만드는 * 사용 -Dtar가 분포와 TAR을 만들 수 있습니다 (사용 - Pdist) * 사용 -Preleasedocs는 변경 로그 및 릴리스 문서 (인터넷 연결 필요)을 포함하는 원사의 UI v2를 구축 * 사용 -Pyarn-UI를. (인터넷 연결 필요)
내가 그렇게 할 단계 가이드에 의해 단계, 일 10 분까지입니다 컴파일러를 따라하기 시작하면 이런 일들은, 후회, 오후의 낭비, 밤 플러스 아침을 살 수 없다.
나는 그것이 작동하는 방법이다, 내 마지막으로 성공한 컴파일 환경에 대한 이야기 :
환경 JDK 1.7 maven3.6
루트 @의 shevcheco61 : -을 / etc / 네트워크 # 자바 버전 자바 버전 " 1.7.0_201 " 오픈 JDK 런타임 환경 (IcedTea 2.6 . 17 (7u211-) 2.6 . 17 . -0ubuntu0 1 ) 오픈 JDK (64) - 비트 서버 VM (빌드 24.201 - B00 혼합 모드) 루트 @의 shevcheco61 : 은 / etc / 네트워크 번호의 MVN - V 아파치 메이븐 3.6 . 1 (d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555, 2019 년 - 04 -05T03 : 00 : 29 + 08 :00 ) 메이븐 집 : / 옵션 / 모듈 / maven- 3.6 . 1 개 Java 버전 : 1.8 .0_131, 공급 업체 : 오라클, 런타임 : / 옵션 / 모듈 / 자바 / JRE의 기본 로케일 : zh_CN으로, 플랫폼 인코딩 : UTF - 8 OS 이름 : " 리눅스 " , 버전 : " 4.4.0-142- 일반적인 " , 아치 : " AMD64 " 가족 : " 유닉스 "
하둡 소스 패키지에서 실행 MVN 패키지 -Pdist, 문서, SRC -DskipTests -Dtar
건물의 분포 : 네이티브 코드없이 문서없이 바이너리 배포판 만들기 : $의 MVN 패키지 -Pdist -DskipTests -Dtar -Dmaven.javadoc.skip = 진정한 네이티브 코드와 문서와 바이너리 배포판 만들기 : $의 MVN 패키지 -Pdist, 기본, 문서를 - DskipTests는 - Dtar은 소스 배포판을 만들기 : $의 MVN 패키지 -Psrc을 - DskipTests는 네이티브 코드와 문서와 소스 및 바이너리 배포판 만들기 : $의 MVN 패키지 -Pdist, 기본, 문서, SRC의 -DskipTests - Dtar이 웹 사이트의 로컬 준비 버전을 만들기을 ( 에 / tmp를 / hadoop- 사이트) $의 MVN 깨끗한 사이트-Preleasedocs; MVN 사이트 : 단계 -DstagingDirectory = / tmp를 / 하둡 현장
실수 :이 패키지는 내려 오지 않는다 DynamoDBLocal-1.11.86.jar 다운로드, 나는 저장소 구성 알리웨어 하우스를 받는다는,이 패키지의 결과는 아래로 낮았다. 방법을 수동으로 다운로드하는 것입니다 그리고 마지막으로 창고 안에 넣어 또 다른 방법은 그것을 이렇게 빨리 치어 파일을 변경 어떤 소스 라인에 공식 소스를 지정하는 것입니다. 이 뒤에 다른 오류가 강조 링크가 설명입니다.
오류 2 : [INFO] 아파치 하둡 인증 ................................. 실패 : MojoExecutionException : 받는다는 - 프로젝트 - 정보 - 보고서 - 플러그인 예외가 처음 직접 바이 가고, 특정 예외를 볼 수 없습니다, 결과는, 바이 밤이, 모든 방법을 시도 찾을 수 아무것도 없었다. 다음 날 아침 미터는 특정 정보를 볼 수 -e 만에 해결했다. 하둡 인증 디렉토리로, 별도의 시작은 MVN 패키지 -Pdocs -DskipTests -Dtar -e를 컴파일. 여기 -P 매개로 인해 구성 프로파일의 프로젝트 POM 만 문서를 문서 만 유지한다. 그리고 여전히 같은 실수를보고했다. 나는 성공을 컴파일, MVN 깨끗한 컴파일을 실행했다. 코드와는 무슨 설명이 없습니다. 설명에 문제가있는 받는다는 프로젝트 - 정보 - 보고서 -에서입니다 플러그인 까지. 바이두는이 일이하고있는에 대해, 당신은 플러그인의 원래 단지에 javadoc의 생성을 알고있다. 생각 함께이 일을보고, 우리는 결과로 다른 오류가 발생하지 않은, 그들은, 자바 버전이 일 사이의 관계를 검색했다 여기를 클릭 하거나 여기 . 나는과 함께 누군가 다른 사람의 솔루션을 따라
< 실행 > < ID > 첨부-의 javadoc </ ID > < 상 > 패키지 </ 상 > < 목표 > < 목표 > 단지 </ 목표 > </ 목표 > < 구성 > < additionalparam > -Xdoclint : 없음 </ additionalparam > </ 구성 > </ 실행 >
마지막으로, 마지막으로 문제를 해결했다.