JDK 환경, Hadoop 환경 구성 및 Windows 10에서 Linux 하위 시스템 Ubuntu의 Scala 설치 문제
설치 필수 구성 요소 :
플랫폼 : Windows10 컴퓨터, 사전 다운로드 된 Ubuntu 하위 시스템, 다운로드하지 않을 경우 자습서 참조 :
Windows10에서 Linux 하위 시스템
사용 여기서는 Ubuntu 18.04를 사용합니다.
빅 데이터에 대해 배우고 싶은데 선생님은 Linux 시스템에 Scala 소프트웨어를 설치하고 필요한 JDK 환경과 Hadoop 환경을 구성 해달라고 요청했습니다. 여기서는 주로 Lin Ziyu 선생님의 설치 튜토리얼을 참조합니다. Lin 부인의 설치 튜토리얼이 훌륭하다고 말해야합니다! 감사합니다 선생님 린!
Lin Ziyu 교사의 설치 링크 첨부 : spark2.1.0 시작하기 : Spark 설치 및
Hadoop 설치 자습서 사용
참고 : 연결된 설치 자습서에서 교사는이 자습서에 필요한 모든 설치를 포함하여 자신이 제공 한 Baidu 네트워크 디스크 리소스를 제공했습니다. 파일을 찾기 위해 귀찮게 할 필요가 없습니다. Lin Ziyu에게 다시 감사드립니다.
Windows에서 Linux 하위 시스템을 선택할 때의 장점 : 가상 머신 + Ubuntu 이미지 파일의 구성만큼 번거롭지 않으며 Scala 학습만으로도 충분합니다.
하지만 VirtualBox를 다운로드하고 Ubuntu 시스템을 설치 한 룸메이트에 따르면 Lin Ziyu 선생님의 튜토리얼에 따라 둘 다 설치하는 데 별 문제가 없었습니다 .VirtualBox를 설치하려는 학생들도 시도해 볼 수 있습니다.
튜토리얼의 단계는 매우 완벽합니다. 아래에서는 주로 설치 과정에서 발생한 문제에 대해 설명합니다.
- hadoop 사용자 생성 후 로그인에 관하여
.Windows의 Ubuntu에는 로그인 인터페이스가 없으므로 명령 줄에 다음 명령을 입력하도록 선택할 수 있습니다.
su -l hadoop
그러면 암호를 입력하라는 메시지가 표시되고 암호를 입력하여 hadoop 사용자에 로그인 할 수 있습니다. - ssh 설치 (하이라이트는 여기에 있음)
Windows의 Ubuntu 시스템은 실제로 교사용 자습서에 기본적으로 openssh-server를 설치 했으므로sudo apt-get install openssh-server명령 을 실행하면 설명이 표시되며 이는 대략 이미 설치했음을 의미합니다. 입력ssh localhost하고 다음 문제를 찾습니다.
## 해결 방법 1 :
걱정하지 마세요. ssh 서비스가 설정되어 있지 않을 수도 있습니다. 그런 다음 명령을 입력하여 ssh 서비스를 설정해보십시오. 정상적으로 작동sudo service ssh start하면 다음 프롬프트가 나타날 수 있습니다. 명령을
다시 입력하십시오 ssh localhost. 다음 인터페이스가 나타납니다.
## 해결 방법 2 : 먼저 자체적으로 설치된 openssh-server를 제거한 다음 자습서를 수행 한 다음 openssh-server를 다시 다운로드 한 다음 자습서를 따릅니다.
여기에 질문이 있습니다. ssh를 설치할 때 첫 번째 로그인 프롬프트가 표시되지 않았지만 이전에 ssh에 로그인 한 적이 없습니다. 그리고 처음으로 hadoop 사용자로 로그인 할 때 암호를 입력 할 필요가 없습니다. 조금 이상합니다.
- Java 환경을 설치할 때 Windows에서 다운로드 한 jdk를 Ubuntu로 압축 해제하는 방법을 모르겠습니다. (여기에서는 수동 설치 방법을 선택합니다.)
해결책 : 실제로는 매우 간단합니다. 명령을 입력합니다cd /mnt(cd와 / mnt 사이에 공백이 있음). ) Windows에서 디렉토리를 입력 한 다음
아카이브 압축 해제 프로세스 스파크를 사용하여 Ubuntu의 / usr / lib 디렉토리에 jdk 추출에 주어진 교사에게 명령하여 예제를 제공합니다 :( jdk를 설치했기 때문에 스크린 샷을 찾을 수 없습니다 ...)
압축을 풀기 전에 먼저 jdk 파일을 저장 한 디렉토리를 입력합니다. 제 파일은 D 드라이브에 있으므로 / mnt / d를 입력하고 교사가 제공 한 명령을 따릅니다.sudo tar -zxf 要解压的文件的名字 -C 解压后放入的目录路径 - 참고 : ssh가 자동으로 로그인하도록 구성하지 않았으므로 hadoop 사용자가 ssh에 로그인하기 전에 ssh 서비스를 켜야합니다. 문제
가있는 경우 블로그 Windows10Linux 하위 시스템 구성 ssh 의 스크린 샷을 참조 할 수 있습니다.
다음으로 튜토리얼을 따르고 스파크 설치에 문제가 없으며 스파크 설치가 성공한 후 작업 스크린 샷이 첨부됩니다.
내 룸메이트는 스파크 로고가 너무 멋지고 고급스러워 보입니다!
헤 헤헤, 나도 그렇게 생각합니다.
많은 시간이 걸린이 환경 설치가 드디어 설치되었습니다. 행복합니다! Windows에서의 Ubuntu는 내 인생의이 단계에서 여전히 실용적입니다 (실용적이지 않다면 느낄 수 없습니다).
질문이 있으시면 댓글로 올려주세요. 함께 토론 할 수 있을지도 모릅니다.
드디어 처음부터 끝까지 반향을 일으켰고 다시 Lin Ziyu에게 감사드립니다! 우리는 너를 사랑해!