まず、Hadoopのインストール
1.該当するフォルダへの最初の抽出にHadoop
2.変更する良い、関連する文書を抽出した後のフォルダに移動します
3.設定hadoop-env.sh
vi hadoop-env.sh:
export= JAVA_HOME=/opt/inst/jdk181
4.配置core-site.xml
vi core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoopdata</value>
</property>
<property>
<name>hadoop.proxyuser.root.users</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
5.設定のHDFS-site.xmlの
vi hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
6.配置CP mapred-site.xml.template mapred-site.xmlに
cp mapred-site.xml.template mapred-site.xml
7.vi mapred-site.xmlに
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
8.vi糸-site.xmlに
vi
9.viは/ etc / profile
export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
10. Updateおよびフォーマット
source /etc/profile
hdfs namenode -format
11. [スタート]
start-all.sh
jps
#查看进程
Hadoopのに12のLinux
hdfs dfs -put /opt/a.txt /cm/
hdfs dfs -ls /cm
Hadoopのは理解して
3つのコア
1.HDFS:Hadoopのファイルシステム分散ファイルシステムを配布します
名前ノード:マスター・ノード・ディレクトリー
データノード:スレーブノードデータ
バックアップマスターノード:SecondaryNameNode
2.YARN:もう一つのリソース交渉リソース管理スケジューラ
スケジューリングは、メモリやCPUリソースの力と考えられています
(一つのみ)のResourceManagerによってスケジュールします
このResourceManager大きな役割:
1.クライアント要求
2.監視ノードマネージャ
3. [スタート]または監視ApplicationMaster()
4.スケジューリングやリソース割り当て
ノードマネージャ(もっと)
主要な役割ノードマネージャ:
単一ノード上の1.経営資源
2.のResourceManagerからのコマンドの処理
3. ApplicationMasterからのコマンドの処理
3.MapReduce:分散コンピューティングフレームワーク
オペレーション