ビルドに擬似分散環境--Hadoopビッグデータデプロイメント環境の章

ビルドに擬似分散環境--Hadoopビッグデータデプロイメント環境の章

まず、準備段階

  • 1、Hadoopの-xxxtar.gz(バージョンが、ここでは、自由にも優れている他のコンポーネントの間にいくつかの依存性に直面した後、すべての後に、これは安定したバージョンがあり、2.7.35バージョンの使用を推奨します)
    の公式ウェブサイトのhttpsをダウンロード:/を/hadoop.apache.org/old/releases.html
    バイナリダウンロードする]をクリックしここに画像を挿入説明
    ここに画像を挿入説明
    、ダウンロード速度が速くなりますので、選択清華ソースのダウンロードを。
  • 2、JDK-XXXXX-linux- x64.tar.gz(JavaのJDKのファイル)
    の公式ウェブサイトのアドレスをダウンロードします。https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
    ここに画像を挿入説明

第二に、ファイルアップロードの段階
序文:すでに次のツールの2をインストールし、デフォルトリーダー:
ここに画像を挿入説明

  • 図1は、ツールを使用してXshell Ubuntuの仮想マシン接続
    第一歩開くためにUbuntuの仮想計算機(1)Vmvareを
    仮想マシンのIPアドレスを表示するために、ifconfigコマンドを使用して、(2)
    ここに画像を挿入説明
    図Iは192.168である。この仮想マシンのIPアドレスを知ることができます。最初に記録されたIP 96.185
    (3)オープンXshellアプリケーション、新しい接続]をクリックし
    ここに画像を挿入説明
    、あなただけのホストで記録されたIPアドレス(4)塗りつぶし
    ここに画像を挿入説明
    (5)ユーザー認証をクリックし、仮想マシンの仮想ログインユーザ名とパスワードを設定します
    ここに画像を挿入説明
    ( 6)、接続を開くためにクリックするだけで、新しい接続を選択し、[仮想マシン接続し
    ここに画像を挿入説明
    、公開鍵の接続[保存]をクリックする
    ここに画像を挿入説明
    (7)その下の写真のように表示される接続が成功している(ここで我々はあなたが著者となぜ色を迷っていてそれは)関係がない、同じではありません、あなたがあなた自身のフォントの色や端末の背景を調整することができます
    ここに画像を挿入説明
  • 2、Ubuntuの仮想マシンにアップロードされたのWindowsのHadoopおよびJDKのインストールパッケージにXftpのダウンロード
    (1)このXftp Xshell緑色のボタンをクリックして
    ここに画像を挿入説明
    Ubuntuの仮想マシンへのアップロードに対応し、Windowsのドラッグ&ドロップファイル(アップロード)を選択する(2)上
    ここに画像を挿入説明
    だけXshellをアップロードビューの二つの文書に戻るには、アップロードされた(3)
    ここに画像を挿入説明

第三には、configureのHadoop

  • 1、JDKのインストールと設定(Hadoopの開発などのJavaを使用して、その操作は、Java環境でHadoopを依存しているため、JDKをインストールすることが不可欠である)
    現在のユーザのホームディレクトリの下に(1)新optディレクトリ(私たちは、すべての主要なデータコンポーネントのインストールディレクトリとして、この新しく作成したディレクトリを参照します)
    ここに画像を挿入説明
    (2)ちょうど新しいoptディレクトリJDKにファイルを解凍し
    ここに画像を挿入説明
    、単に新しいディレクトリ入力するCD〜の/ optコマンドを使用して(3)
    ここに画像を挿入説明
    (4)使用を「LN -s」ソフトリンクを作成するためのコマンドは、単にファイルjdkの抽出され
    ここに画像を挿入説明
    、慎重に、vimのコマンドを読者最初の接点が動作する場合は少し難しいことができます(変更ユーザー環境変数を入力するのvim〜/ .bashrcのコマンドを使用して(5) )操作のスクリーンショットを参照
    ここに画像を挿入説明
    Iキーのキーボードに来た後は、モードのインサート編集者への変更(このファイルを編集できるように、左下隅を押した後-INSERT-単語を表示されます)になりここに画像を挿入説明
    ここに画像を挿入説明
    ここに画像を挿入説明
    ここに画像を挿入説明
    、コマンドライン入力ソースに(6)を保存して終了し〜/ .bashrcのソースはこれだけリフレッシュ設定が有効になります
    ここに画像を挿入説明
    (7)設定JDKかどうかをコマンドjava -versionテストを入力します。
    ここに画像を挿入説明
  • 2、Hadoopのインストールおよび構成(Hadoopのビルド三つのモード[スタンドアロンモード、疑似分布パターン、クラスタモード]擬似分布パターンを構築するためにここで行われる)
    のHadoop-xxxtar.gz -C〜/ -zxvfタールを用いて(1) OPT Hadoopのファイルは、ディレクトリのオプト抽出する
    ここに画像を挿入説明
    (2)CD〜の/ opt optディレクトリをして、軟質金属の接続を作成するためのHadoopのln -sコマンドファイル進み、
    ここに画像を挿入説明
    (3)のvim〜/ .bashrcに、ユーザー環境変数と編集をフロントJava環境変数を変更します画像コンテンツに示した加算後の
    ここに画像を挿入説明
    コマンドラインインタフェースに戻るを保存して終了する
    だけ更新元の設定が有効になりますので、(4)ソース〜/ .bashrcの
    ここに画像を挿入説明
    SSH-keygenの-t RSA SSHで発生用いた公開鍵に接続されている(5)
    ここに画像を挿入説明
    (6)猫の〜/ .ssh / id_rsa.pub >>〜 /の.ssh / authorized_keysにちょうどSSH構成の中から、指定したファイルに書き込ま生成した公開鍵
    ここに画像を挿入説明
    ディレクトリのHadoopプロファイルに(7)
    ここに画像を挿入説明
    (8)編集のvimのHadoop-ENV図は、プレス保存して終了するように構成された.SHファイル入力した後
    ここに画像を挿入説明
    、次のようにコンフィギュレーションファイルVIMコアは、SITE.XML配置すること変更する(9)。
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

ここに画像を挿入説明
次のようにファイル情報に(10)VIM HDFS-site.xml構成ファイルが構成されています

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/home/zh123/opt/hadoop/dfs/name</value>
	</property>
	<property>
		<name>dfs.namenode.data.dir</name>
		<value>/home/zh123/opt/hadoop/dfs/data</value>
	</property>
</configuration>

ここに画像を挿入説明
(11)mapred-site.xmlの設定ファイルは、このファイルが存在するが、我々は彼の元のディレクトリを含むこのmapred-site.xml.templateのコピーを取得する必要がありますので、出て最初だったとしていないため
:CP mapred-site.xmlにmapred-site.xmlのが.TEMPLATE
次のようにvimのmapred-site.xmlを編集情報ファイルを

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

ここに画像を挿入説明
次のように(12)VIM糸site.xmlの設定情報が設定されています

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

ここに画像を挿入説明

hadoop-env.sh
コアsite.xmlの
HDFS-site.xmlの
mapred-site.xmlの
糸のsite.xml
ここに画像を挿入説明

上記は、擬似分散構成でのHadoopは、プロファイル名を変更する必要がありました

第四には、Hadoopの開始します

  • 1、フォーマットの名前ノード(あなただけ!!!のHadoopを起動するだけで初めてのフォーマットの名前ノードには、このコマンドを実行することに注意してください)
    HDFS名前ノード-format
    ここに画像を挿入説明
    ここに画像を挿入説明
    なログ出力などの情報を参照してくださいフォーマットが成功名前ノードたというエラーメッセージ手段ませんでした
  • 2、Hadoopのサービスを起動
    するコマンドstart-all.sh開始Hadoopを使用して、すべてのサービスのための
    ここに画像を挿入説明
    別のJPSを表示するために、行コマンドをコマンドアクティブJavaプロセスされるここに画像を挿入説明
    詳細情報HDFSを使用してコマンドをHDFS dfsadmin -reportは見ることができ
    ここに画像を挿入説明
    、擬似分散Hadoopの環境の点を有していますHadoopの質問を見つけた場合は終了し、ジュニアパートナーの再構成プロセスを構築することは、以下のコメントを探検してください!
公開された27元の記事 ウォン称賛62 ビュー10000 +

おすすめ

転載: blog.csdn.net/qq_42359956/article/details/102825140
おすすめ