Ubuntuの単一インストール構成のHadoop

序文

1.インストール構成JDK

1.ダウンロードJDK

クリックしてダウンロードをダウンロードします

Ubuntuの単一インストール構成のHadoop

ダウンロードする前に、使用許諾契約書に同意しクリックし、JDK-12_linux-64_bin.tar.gzをダウンロード


2.エキスJDK

ディレクトリをダウンロードして、開放端子、入力し
たtar zxvf JDK-12_linux-64_bin.tar.gzを

/ usr / localフォルダにファイルフォルダを抽出した後、コマンドラインで次のように入力します。
sudoのMV JDK-12_linux-64_bin / USR /ローカル

JDK-12_linux-64_binファイル、フォルダを解凍し、あなたが同じでない場合は、明確な実際の状況に応じて変更された後。

3.設定Java環境

以下のコマンド端子を入力
sudoのgeditの〜/ .bashrcに

ファイルの末尾には、以下に書かれている
輸出JAVA_HOME =は/ usr / local / JDKは-12_linux-64_bin
JRE_HOME JAVA_HOME = $ {} / JREエクスポート
エクスポートCLASSPATHを= :. $ {JAVA_HOME} / libに:$ {} JRE_HOME / libに
輸出PATH = $ {JAVA_HOME} / binにします。$ PATH

次に、以下のコマンド端子入力
ソースを〜/ .bashrcに

4.テストJavaのインストールは成功しました

次のコマンド端子入力
のjava -versionを

設定が成功した場合、これは、Javaのバージョンを表示し、次のコマンドを入力していきます
のjavacを

成功した設定は、使用できるコマンドが表示されます


2.ダウンロードのHadoop

ダウンロードするには、[ダウンロード]をクリックします

Hadoopの-2.7.6.tar.gzにこのバージョンをダウンロードし、他のバージョンをダウンロードする必要があります

3.(別のディレクトリに切り替える必要がある場合には、後者の操作を変更するために継続すべきである)/ optディレクトリを抽出

ダウンロードディレクトリに端末を開き、実行
タール-zxvfのHadoop-2.7.6.tar.gz -Cは/ opt /

4.設定環境変数のHadoop

コマンドラインを開き、次のコマンドを入力して
はsudo geditの/ etc / profileをします

ファイルに次のコードを追加します。
エクスポートHADOOP_HOMEは=は/ opt / Hadoopの-2.7.6です
PATH = $ PATH輸出:$ HADOOP_HOMEは/ binです 

で次のコマンドラインを実行し
、ソースは/ etc / profile

5.設定のHadoop

5.1構成hadoop-env.sh

コマンドラインで次のコマンドを実行して
はsudoのgedit /opt/hadoop-2.7.6/etc/hadoop/hadoop-env.sh

読むためにそれを次の行を使用するには、#Java実装検索:.
輸出JAVA_HOME =は/ usr / local / JDK-12_linux-64_binに

あなたは、Javaをインストールするには、上記の私の手順に従わない場合は、Javaがきれいに独自のパスを記入します

5.2コア-site.xmlの設定(5.2および5.3の設定ファイルのパスを、独自の習慣の設定でポートをファイル)

IPはどこ:192.168.44.128仮想マシンのIPは、ローカルホスト、接続ハイブは、サーバー(仮想マシン)上で報告される場合saprkと裏の窓の上に、異常をlocalhostに設定することはできません

ifconfigコマンドはそれにあなたのIPアドレスを変更するには、次のコード192.168.44.128で、コマンドラインで、あなたのIPアドレスを参照してください

コマンドラインで次のように入力します
のsudoのgedit /opt/hadoop-2.7.6/etc/hadoop/core-site.xml

在打开的文件中添加如下内容
の<configuration>
<プロパティ>
        <名前> hadoop.tmp.dir </名前>
        <値>のファイル:///opt/hadoop-2.7.6 </ value>の
        <説明>のためのABASE他の一時ディレクトリ</説明>。
    </ property>の
    <プロパティ>
        <名前> fs.defaultFS </名前>
        <値> HDFS://192.168.44.128:8888 </ value>の
    </ property>の
</設定>

ファイルを保存して閉じ、コマンドラインで次のコマンドを入力します。
sudoのgeditの/opt/hadoop-2.7.6/etc/hadoop/hdfs-site.xml

在打开的文件中修改如下内容
<構成>
        <プロパティ>
        <名前> dfs.replication </名前>
        <値> 1 </値>
    </ property>の
    <プロパティ>
        <名前> dfs.namenode.name.dir < /名前>
        <値>のファイル:///opt/hadoop-2.7.6/tmp/dfs/name </ value>の
    </ property>の
    <プロパティ>
        <名前> dfs.datanode.data.dir </名前>
        <値>ファイル:///opt/hadoop-2.7.6/tmp/dfs/data </ value>の
    </ property>の
</設定>


6.SSH無料秘密の着陸

次のコマンドラインを入力
sudoをAPT-GET-インストールのOpenSSHサーバーの
CDの〜/ .ssh /
SSH SSH-keygenは-t rsaのはlocalhost
/ *このプロセスは、* /それにEnterキーを押し続けた
CATのid_rsa.pub >> authorized_keysに


7.開始と停止

HDFS最初のスタートをフォーマットする必要があり、コマンドラインで次のように入力し(つまり、入力YまたはNが求められ、Yは全てを失う可能性)
CD /opt/hadoop-2.7.6
./bin/hdfs名前ノード-format 


開始
./sbin/start-dfs.sh


停止
./sbin/stop-dfs.sh


検証、ブラウザと入力します。http://192.168.44.128:50070

Ubuntuの単一インストール構成のHadoop

簡単な検証のHadoopのコマンド:
のHadoop FSの-mkdir /テスト


下図のようにブラウザビューでは、それは成功です

Ubuntuの単一インストール構成のHadoop

あなたはまたのHadoopにファイルをアップロードするには、次のコマンドを入力することができます
テスト1.TXT /テスト/ -putのHadoop FS


8.設定の糸

8.1コンフィギュレーションmapred-site.xmlに

コマンドライン、次のように入力します。
CD /opt/hadoop-2.7.6/etc/hadoop/
CP-site.xml.templateはmapred-mapred site.xmlの
sudoをgeditの-site.xmlのmapred


ファイル内のコンテンツを追加する
<構成>
    <! -通知のフレームワークMR糸を使用- >
    <プロパティ>
        <名前> mapreduce.framework.name </名前>
        <値>糸</ value>の
    </プロパティ>
</設定>


8.2の構成糸-site.xmlの

:次のようにコマンドラインのコマンドを入力します。
sudoのgeditの糸-site.xmlのを


ファイルの内容を追加します。
<構成>
    <! -データの減速へのアクセスのモードがmapreduce_shuffleある- >
    <プロパティ>
        <名前> yarn.nodemanager.aux-サービス</名前>
        <値> mapreduce_shuffle </ value>の
    </プロパティ>
</構成>


8.3糸の起動と停止

起動し
たCD /opt/hadoop-2.7.5を
./sbin/start-yarn.sh 


停止
./sbin/stop-yarn.sh

ブラウザビュー:http://192.168.44.128:8088

Ubuntuの単一インストール構成のHadoop

JPSは、プロセスを表示します

Ubuntuの単一インストール構成のHadoop

出力に示すように、コンフィギュレーション・スタンドアロンモードのHadoopの成功を示します

おすすめ

転載: www.linuxidc.com/Linux/2019-07/159614.htm