Ubuntuの疑似分散Hadoopインストール

hdoop公式ウェブサイト：https：//hadoop.apache.org/docs/r3.2.2/

1.予備的な環境構築

1.1Java環境の構成

まず、次のディレクトリに解凍します

/usr/lib/jvm/jdk-15.0.2

それから家に帰るcd ~

vim .bashrc

以下の構成を任意の場所に貼り付けます

#java environment
export JAVA_HOME=/usr/lib/jvm/jdk-15.0.2
#export PATH=$PATH:$JAVA_HOME/bin
export PATH=${
    
    JAVA_HOME}/bin:$PATH

# Hadoop Enviroment
export HADOOP_HOME=/usr/local/hadoop-3.2.2
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

1.2パスワードなしでインストール

sudo apt instll ssh

ssh-keygen

見る

ls .ssh

cat .ssh/id_rsa.pub>> .ssh/authorized_keys

他のコンピューターにログインする

ssh localhost

2.hadoop構成

2.1権限の構成

Hadoopは/usr/loca/ディレクトリに抽出します

そして、スーパーユーザーに/usr/local/hadoop-3.2.2を承認します

chown -R charles /usr/local/hadoop-3.2.2

2.2構成ファイルを変更する

2.2.1 hadoop-env.sh

vim /usr/local/hadoop-3.2.2/etc/hadoop/hadoop-env.sh

54行目あたり

export JAVA_HOME=/usr/lib/jvm/jdk-15.0.2

2.2.2コア構成core-site.xml

一時ディレクトリを自分で作成する必要はありません。システムが自動的に生成します。

vim /usr/local/hadoop-3.2.2/etc/hadoop/core-site.xml

<configuration>
    <!--配置hdfs默认的命名-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!--配置临时目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop-3.2.2/tmp</value>
    </property>
</configuration>

2.2.3 hdfs-site.xml

vim /usr/local/hadoop-3.2.2/etc/hadoop/hdfs-site.xml

<configuration>
 <!--配置副本个数 伪分布 默认为1-->
   <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>

     <!--配置元数据的存储位置-->
     <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/usr/local/hadoop-3.2.2/hadoop_data/hdfs/namenode</value>
     </property>
     <!--配置datanode数据存放位置-->
    <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/usr/local/hadoop-3.2.2/hadoop_data/hdfs/datanode</value>
     </property>
 </configuration>

2.2.4mapreduce設定mapred-site.xml

コンピューティングタスクにいくつかのタスクを割り当ててから、それらを各ノードに割り当てます

vim /usr/local/hadoop-3.2.2/etc/hadoop/mapred-site.xml

<configuration>
    <!--指定mapreduce运行框架-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <final>true</final> <!--此处是否加上待定-->
    </property>
    
    <!---->
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
     </property>
       
</configuration>

2.2.5ヤーン設定yarn-site.xml

リソース、ノードマネージャー、各ノードが使用可能かどうかを確認する

vim /usr/local/hadoop-3.2.2/etc/hadoop/yarn-site.xml

<configuration>
	<!--指定mapreduce的shuffle-->
	<property>        
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<!--  -->
	<property>        
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>
</configuration>

2.3名前ノードをフォーマットする

次に、分散ファイルシステムを構築します

hadoop namenode -format

後者の削除は、分散ファイルシステムを強制終了することと同じです（通常、ここでは実行されません）。

ls /usr/local/hadoop-3.2.2/hadoop_data/

rm -rf /usr/local/hadoop-3.2.2/hadoop_data/

2.4完全分散ファイルシステムを起動します

start-dfs.sh

ノードに4つのプロセスがあることを確認します

jps

2.5エクスプローラーを起動します

ここで2つのサービスが開始されます

start-yarn.sh

現時点では、バックグラウンドで5つのサービスがあります

hadoop jar /usr/local/hadoop-3.2.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar pi 5 10

3ubuntuソフトウェアのインストール

ポータル：Ubuntuソフトウェアのインストール