Hadoopのインストール:ビッグデータの一つ

まず、Hadoopのインストール

1.該当するフォルダへの最初の抽出にHadoop

1566901830564

2.変更する良い、関連する文書を抽出した後のフォルダに移動します

1566902099154

1566893588624

3.設定hadoop-env.sh

vi hadoop-env.sh:
export= JAVA_HOME=/opt/inst/jdk181

1566893705161

4.配置core-site.xml

vi core-site.xml
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://bigdata:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoopdata</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.users</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>

1566893927457

1566894986655

5.設定のHDFS-site.xmlの

vi hdfs-site.xml
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

1566895205777

6.配置CP mapred-site.xml.template mapred-site.xmlに

cp mapred-site.xml.template mapred-site.xml

1566895334652

7.vi mapred-site.xmlに

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

1566896513659

8.vi糸-site.xmlに

vi 

1566896452284

9.viは/ etc / profile

export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

1566896579450

10. Updateおよびフォーマット

source  /etc/profile
hdfs namenode -format

1566897164905

11. [スタート]

start-all.sh

1566897200256

jps
#查看进程

1566897333891

1566897884766

Hadoopのに12のLinux

hdfs dfs -put /opt/a.txt  /cm/
hdfs dfs -ls /cm

1566898227114

Hadoopのは理解して

3つのコア

1.HDFS:Hadoopのファイルシステム分散ファイルシステムを配布します

名前ノード:マスター・ノード・ディレクトリー

データノード:スレーブノードデータ

バックアップマスターノード:SecondaryNameNode

2.YARN:もう一つのリソース交渉リソース管理スケジューラ

スケジューリングは、メモリやCPUリソースの力と考えられています

(一つのみ)のResourceManagerによってスケジュールします

このResourceManager大きな役割:

1.クライアント要求

2.監視ノードマネージャ

3. [スタート]または監視ApplicationMaster()

4.スケジューリングやリソース割り当て

ノードマネージャ(もっと)

主要な役割ノードマネージャ:

単一ノード上の1.経営資源

2.のResourceManagerからのコマンドの処理

3. ApplicationMasterからのコマンドの処理

3.MapReduce:分散コンピューティングフレームワーク

オペレーション

1566913676798

おすすめ

転載: blog.51cto.com/14522074/2434368