Ubuntuの中で火花環境を構築します

注意:1.ビルド環境:Ubuntu64ビットを、Linuxの(Windowsはありますが、私は空ではありませんしてみてください)

      2.一般設定JDK、スカラ座や他のパス環境は、/ etc /プロファイルで設定されているが、私は、プロファイルの設定環境で自分自身を見つけたとき、私は問題があるだろう自分自身を建て、例えば:私は、プロファイルをソース、火花を設定しスパークは問題ありません開始、私は再び火花を開始したいとき、

       これは、再び、プロファイル、それをソースする必要があり、起動に失敗しますので、私はちょうど再びうまくそれをソースする必要があり、すべての環境設定コマンドは、〜/ .bashrcのファイルに書かれている必要があります。

    3.私は新人だけど、何かが間違っている場合、私たちは私に言わなければならない、私は変わりました。それとも、より良い方法を持って、私の悩みを教え、ありがとうございました!

セット SSH 無料秘密の記号

(通常、Ubuntuはこれだけのコマンドを使用してサーバーをインストールする必要があり、クライアントが付属しています:. Dpkgの-l | grepのsshをサーバとクライアントかどうかを確認するために設置し、クライアントのコマンドをインストールします。sudo opendssh-インストールのapt-getをクライアント)

1 、サーバーのインストール、インストールコマンド:sudoのapt-getのインストールのOpenSSHサーバーは、ユーザーがEnterキーを押して続行します入力し、パスワードを入力する必要があるかもしれません。また、継続するかどうかを尋ねる入力してYを続行します。インストールが成功した後、コマンドの使用sshのローカルホストのテストインストールSSHを通常の接続は、接続は、ユーザーのパスワードを入力する必要がありますか

2 、パスワードなしのログオン手順を設定します。

1 :)キー、コマンド生成SSH-keygenのを実装プロセスは、単にEnterキーを押し、何も入力しないでください、と接続するためのパスワードを入力するように要求されます。システムになるの〜/ .sshがキーファイルのディレクトリ生成(id_rsaとプライベート、id_rsa.pub 公開鍵を、図に示した実行の成功した結果。

2 )の内容に追加する公開鍵が生成されたのauthorized_keys fileコマンド:CATの〜/ .ssh / id_rsa.pub >>の〜/ .ssh / authorized_keysに

3 )変更のauthorized_keys の〜/ .sshのファイルのパーミッション、コマンドを:

chmodの700の〜/ .ssh

chmodの600の〜/ .ssh / authorized_keysに

(4) セットアップが成功したら、コマンドの成功を確認することができます SSHのlocalhostは、ユーザーが正常に設定されたパスワードを入力する必要がない場合、。

二、JDKのインストールと設定

1、解凍 JDKのインストール、extractコマンド:JDK-Linuxの-x64.tar.gz -Cは/ opt -zvxfタール8u181

2、内の環境変数の設定は/ etcを/プロファイル以下のファイルを追加します。

輸出JAVA_HOME =は/ opt / jdk1.8.0_181#配置JAVA_HOME

輸出CLASS_PATH =は/ opt / jdk1.8.0_181 / libに#の設定クラスパス

輸出PATH = $ PATHの:$ JAVA_HOME / binに#が追加ビンへのパスをPATH 、さらには、コマンドラインから直接使用することができたJava 関連のコマンド     

図3は、再実行だけで変更は/ etc / profileの、環境設定はすぐに有効になり、コマンドをファイル:ソースは/ etc / profile

。4 JDK のインストール構成後に、コマンドラインにコマンドを入力します。Javaの- バージョンは、チェックJDKが正しくインストールされています

三、 Scalaのインストールと設定

1 、解凍Scalaのインストール、extractコマンド:タール2.11.12.tgz -zvxf Scalaの-Cは/ opt

2 、内の環境変数の設定は/ etcを/プロファイル以下のファイルを追加します。

輸出SCALA_HOME =は/ opt / scala- 2.11.12# 設定SCALA_HOME

輸出PATH = $ PATHに:$ SCALA_HOME / binに#が追加ビンにディレクトリをPATH

図3は、再実行だけで変更は/ etc / profileの、環境設定はすぐに有効になり、コマンドをファイル:ソースは/ etc / profile

。4、Scalaはインストール構成した後、コマンドラインでコマンド:Scalaは、チェックScalaは正しくインストールされています。

四、スパークのインストールと設定

1 、解凍スパークインストール、extractコマンド:タール-zvxf火花2.3.3をビン-hadoop2.7.tgz -Cは/ opt

2 、内の環境変数の設定は/ etcを/プロファイル以下のファイルを追加します。

輸出SPARK_HOME =は/ opt /火花-2.3.3-binの-hadoop2.7#配置SPARK_HOME

輸出PATH = $ PATHに:$ SPARK_HOME / binに#が追加ビンにディレクトリをPATH

図3は、再実行だけで変更は/ etc / profileの、環境設定はすぐに有効になり、コマンドをファイル:ソースは/ etc / profile

4 、変更スパークプロファイルを

1 )、テンプレート・ファイルをコピースパークさんのconf のディレクトリ火花env.sh.templateをlog4j.properties.templateはslaves.template 3つのファイルがコピーされるためにspark-env.sh log4j.properties 奴隷を同じにディレクトリ(のconf フォルダ、に注意を払う.TEMPLATE 除去し、その後、スパークを読み取るために、スタートアップの設定項目にファイルになります、または設定を見つけることができません。次のようにコマンドは次のとおりです。

CD /opt/spark-2.3.3-bin-hadoop2.7/conf // 設定フォルダの中へ

sudoのcpは火花env.sh.template spark-env.sh //スパーク環境関連

sudoのcpはlog4j.properties.template log4j.properties //スパーク関連ログ

sudoのcpはslaves.templateスレーブ//スパーククラスタノード

5 、設定火花2.3.3-ビンhadoop2.7のフォルダの読み書きの実行権限を、コマンド:

CDは/ opt   

sudoのはchmod 777火花2.3.3-binに-hadoop2.7 /

6 スパークが入力し、インストール構成を完了したスパークディレクトリsbinには実行し、パスを./ start-all.sh だけのインストールをテストするために、クラスタを起動スパーク
7は、コマンドライン入力火花シェルチェックする火花が正しくインストールされている、のような画面が正常に動作する:(スパークデフォルトでは、最初の9つのステップを見たい場合はPythonで書かれたScalaの言語を使用することです。)

 

8、スパーク起動が完了するクラスタの後に、ブラウザを開き、アドレスを入力してください:localhostを:8080 、あなたがのクラスタ見ることができるUIのインターフェイスを、UIインターフェイスが表示されない、あなたはどうか、スタート-すべてのスパーク、戻って、問題がある場合、環境設定の前に確認してください。

9 、コマンドラインを直接起動することができpyspark 、コマンドpyspark 、図画面正常に起動した後:

 

 

 その他の建築環境はあなたがコマンドラインモードで火花を書いてみましょうことができますので、私はpycharm年間で火花を構築するためにあなたを再教育すること自由にいくつかの時間を過ごしました。

 

おすすめ

転載: www.cnblogs.com/chjie/p/10833873.html
おすすめ