JDKのインストール
JDK rootユーザーのインストール
インストールと解凍アップロード
[root@hadoop1 soft]# tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local/
設定の環境変数
[root@hadoop1 soft]# vi /etc/profile
#JAVA
export JAVA_HOME=/usr/local/jdk1.8.0_73
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
Javaのバージョンを確認します。
[root@hadoop1 soft]# java -version
SSHの構成はlocalhost
検出
通常の状況下では、マシンがSSHでパスワードを入力するための独自のニーズに接続されています
秘密鍵のペアを生成した秘密鍵と公開鍵
[hadoop@hadoop1 ~]$ ssh-keygen -t rsa
authorized_keysに公開鍵を追加します。
[hadoop@hadoop1 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
authorized_keysファイルのパーミッションは600に与えられました
[hadoop@hadoop1 ~]$ chmod 600 ~/.ssh/authorized_keys
変更Linuxのマッピングファイル(rootユーザ)
[root@hadoop1 ~]$ vi /etc/hosts
検証
[hadoop@hadoop1 ~]$ ssh hadoop1
この時点で、秘密のログインが正常に自由に設定し、パスワードを入力する必要はありません。
Hadoopのインストール
使用Hadoopの利用者
アップロード解凍
[hadoop@hadoop1 ~]$ tar -zxvf hadoop-2.7.5-centos-6.7.tar.gz -C apps/
対応するインストールパッケージを作成します。柔軟なコネクタ
パッケージのHadoopを解凍するためのソフトリンクを作成します。
[hadoop@hadoop1 ~]$ cd apps/
[hadoop@hadoop1 apps]$ ll
总用量 4
drwxr-xr-x. 9 hadoop hadoop 4096 12月 24 13:43 hadoop-2.7.5
[hadoop@hadoop1 apps]$ ln -s hadoop-2.7.5/ hadoop
設定ファイルを変更します。
/ホーム/ Hadoopの/アプリケーション/ Hadoopのは/ etc / Hadoopの/ディレクトリに設定ファイルを変更します。
(1)変更hadoop-env.sh
[hadoop@hadoop1 hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_73
(2)修飾コア-site.xmlの
[hadoop@hadoop1 hadoop]$ vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadoopdata</value>
</property>
</configuration>
(3)HDFS-site.xmlのを修正
[hadoop@hadoop1 hadoop]$ vi hdfs-site.xml
バックアップのDFSの数、ラインを持つ単一の部品
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/data/hadoopdata/name</value>
<description>为了保证元数据的安全一般配置多个不同目录</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/data/hadoopdata/data</value>
<description>datanode 的数据存储目录</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<description>HDFS 的数据块的副本存储个数, 默认是3</description>
</property>
(4)変性mapred-site.xmlの
[hadoop@hadoop1 hadoop]$ cp mapred-site.xml.template mapred-site.xml
[hadoop@hadoop1 hadoop]$ vi mapred-site.xml
mapreduce.framework.name:MRは、第二世代のMPにも基づいて、資源管理システム糸を実行するためのHadoop、フレームワーク糸方法を指定しました。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(5)糸のsite.xmlを変更します
[hadoop@hadoop1 hadoop]$ vi yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<description>YARN 集群为 MapReduce 程序提供的 shuffle 服务</description>
</property>
設定の環境変数
注意してください:
1、あなたがインストールするには、rootユーザーを使用している場合。システム変数へのvi / etc / profileを
2、インストールする通常のユーザーを使用している場合。VI〜/ .bashrcにユーザ変数
#HADOOP_HOME
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
環境変数を有効にします
[hadoop@hadoop1 bin]$ source ~/.bashrc
ビューHadoopのバージョン
[hadoop@hadoop1 ~]$ hadoop version
フォルダを作成します。
HDFS-site.xmlの内部のフォルダ構成ファイルのパスへの参照パス
[hadoop@hadoop1 ~]$ mkdir -p /home/hadoop/data/hadoopdata/name
[hadoop@hadoop1 ~]$ mkdir -p /home/hadoop/data/hadoopdata/data
Hadoopの初期化
[hadoop@hadoop1 ~]$ hadoop namenode -format
HDFSとスタートYARN
[hadoop@hadoop1 ~]$ start-dfs.sh
[hadoop@hadoop1 ~]$ start-yarn.sh
WebUIのを確認してください
開いているポートにブラウザ50070ます。http:// hadoop1:50070
其他端口说明:
port 8088: cluster and all applications
port 50070: Hadoop NameNode
port 50090: Secondary NameNode
port 50075: DataNode
Scala的安装(可选)
使用root安装
下载
Scala下载地址http://www.scala-lang.org/download/all.html
选择对应的版本,此处在Linux上安装,选择的版本是scala-2.11.8.tgz
上传解压缩
[root@hadoop1 hadoop]# tar -zxvf scala-2.11.8.tgz -C /usr/local/
配置环境变量
[root@hadoop1 hadoop]# vi /etc/profile
#Scala
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH
保存并使其立即生效
[root@hadoop1 scala-2.11.8]# source /etc/profile
验证是否安装成功
[root@hadoop1 ~]# scala -version
Spark的安装
下载安装包
下载地址:
http://spark.apache.org/downloads.html
http://mirrors.hust.edu.cn/apache/
https://mirrors.tuna.tsinghua.edu.cn/apache/
上传解压缩
[hadoop@hadoop1 ~]$ tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz -C apps/
为解压包创建一个软连接
[hadoop@hadoop1 ~]$ cd apps/
[hadoop@hadoop1 apps]$ ls
hadoop hadoop-2.7.5 spark-2.3.0-bin-hadoop2.7
[hadoop@hadoop1 apps]$ ln -s spark-2.3.0-bin-hadoop2.7/ spark
进入spark/conf修改配置文件
[hadoop@hadoop1 apps]$ cd spark/conf/
复制spark-env.sh.template并重命名为spark-env.sh,并在文件最后添加配置内容
[hadoop@hadoop1 conf]$ cp spark-env.sh.template spark-env.sh
[hadoop@hadoop1 conf]$ vi spark-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_73
export SCALA_HOME=/usr/share/scala-2.11.8
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.5
export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.7.5/etc/hadoop
export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077
配置环境变量
[hadoop@hadoop1 conf]$ vi ~/.bashrc
#SPARK_HOME
export SPARK_HOME=/home/hadoop/apps/spark
export PATH=$PATH:$SPARK_HOME/bin
保存使其立即生效
[hadoop@hadoop1 conf]$ source ~/.bashrc
启动Spark
[hadoop@hadoop1 ~]$ ~/apps/spark/sbin/start-all.sh
查看进程
查看web界面
http://hadoop1:8080/