アクセススパークの公式サイト、インストールプロセスのスパークを読んでは、使用のHadoopにスパーク必要性を発見した、JavaのJDKは、当然のことながら、公式サイトも無料のHadoopのバージョンを提供します。この記事では、スパークのスタンドアロンインストールの段階的な完了を始めたのJava JDKのインストールからです。
1、JavaのJDK8のインストール
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
ここでは/ opt / javaのディレクトリにダウンロードした後の次のディレクトリにパッケージ、
コマンドを使用します。tar -zxvf JDK-8u231-のlinux-x64.tar.gz解凍
設定ファイルは/ etc / profileを変更し、コマンドを使用します：sudoのナノ/ etc / profileを
ファイル（特定のパスベースの環境）の最後に以下を追加します。
輸出JAVA_HOME =は/ opt / javaの/ jdk1.8.0_231
輸出JRE_HOME =は/ opt / javaの/ jdk1.8.0_231 / JRE
の$ PATH：= $ {JAVA_HOME} / binに輸出PATH
保存して終了は、端末インタフェースでコマンドを使用します。ソースは/ etc / profileを設定ファイルを有効にします。
使用Javaはインストールが成功したエコー以下のインストールを確認します-version。
2、Hadoopののインストール
バージョンを選択ここでは、公式サイトhttps://hadoop.apache.org/releases.htmlダウンロードのHadoopに行く2.7.7
http://www.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz
sshの秘密の着陸や他の機能を避けるため、SSHをインストールするためのHadoopの必要性。
コマンドを使用します。
ディレクトリにダウンロードパッケージ、ここでは/ opt / Hadoopの
タール-zxvfのHadoop-2.7.7.tar.gz解凍：コマンドを使用します。
ここで、擬似分散インストールを選択した（疑似分散）
サブディレクトリ解凍したディレクトリ内のファイルを変更するなど/ Hadoopの/ hadoop-env.sh、下に示すように、本機のパスを変更するにはJAVA_HOME JAVA_HOMEパス：
Hadoopの設定環境変数
コマンドを使用します。
次の行を追加します。
輸出HADOOP_HOME =は/ opt / Hadoopの/ Hadoopの-2.7.7
PATH変数を変更し、Hadoopのにbinディレクトリを追加
$ {HADOOP_HOME} / binに：$ PATH = $ {JAVA_HOME} / binに輸出PATH
ディレクトリ修飾減圧/ Hadoopの/コア-site.xmlの下などのサブディレクトリ
<設定>
<プロパティ>
<名前> fs.defaultFS </名前>
<値> HDFS：// localhostを：9000 </ value>の
</ property>の
</設定>
図は次のとおりです。
解凍/ Hadoopの/ HDFS-site.xmlの修正ディレクトリの下などのサブディレクトリ
<構成>
<プロパティ>
<名前> dfs.replication </名前>
<値> 1 </値>
</ property>の
</構成>
図は次のとおりです。
セット無料秘密の着陸
コマンドを使用します：ログインショーの成功にパスワードを入力する必要がない場合はssh localhostの検証は、成功しています。
*ドキュメント：https://help.ubuntu.com
*管理：https://landscape.canonical.com
*サポート：https://ubuntu.com/advantage
*正規Livepatchは、インストールのために利用可能です。
-システムが再起動を削減し、カーネルのセキュリティを向上させます。：で有効に
https://ubuntu.com/livepatch
188は、パッケージをアップグレードすることができます。
0セキュリティ更新プログラム。
お使いのハードウェアイネーブルメントスタック（HWE）は4月2023年までサポートされている
土11月127.0.0.1から30夜11時25分35秒2019：最終ログイン
あなたはHadoopののインストールを確認する必要があります次
、ファイルシステムフォーマット
B、および名前ノードデータノードを開始
C、アクセスするブラウザのhttp：// localhostを：50070
3、Scalaのインストール：
ダウンロードします。https：//www.scala-lang.org/download/2.11.8.html
/ opt /スカラ座：あなたはへの抽出をダウンロードしたら
設定の環境変数：
追加：
輸出SCALA_HOME =は/ opt /スケール/スケール2.11.8
ソースは/ etc / profile
図4に示すように、スパークをインストール
スパーク火花をダウンロードする公式サイトに行きます
https://spark.apache.org/downloads.html
ここでは、次のようにバージョンを選択します。
火花2.4.4-binの-hadoop2.7
ディレクトリへのスパーク、ここでは/ opt /火花
コマンドを使用します。火花2.4.0ビンhadoop2.7.tgz -zxvfタール - 解凍
インストールの./bin/run-example SparkPi 10テストスパーク：コマンドを使用します。
設定環境変数SPARK_HOME
輸出SPARK_HOME =は/ opt /スパーク/スパーク-2.4.4-ビンhadoop2.7の
輸出PATH = $ {JAVA_HOME} / binに：$ {HADOOP_HOME} / binに：$ {SPARK_HOME} / binに：$ PATHに
ソースは/ etc / profile
設定spark-env.sh
スパークに/ confに/
sudoのcpは/opt/spark/spark-2.4.4-bin-hadoop2.7/conf/spark-env.sh.template /opt/spark/spark-2.4.4-bin-hadoop2.7/conf/spark-env .SH
輸出JAVA_HOME =は/ opt / javaの/ jdk1.8.0_231
輸出HADOOP_HOME =は/ opt / Hadoopの/ Hadoopの-2.7.7
輸出HADOOP_CONF_DIR =は/ opt / Hadoopの/ Hadoopの-2.7.7の/ etc / Hadoopの
輸出SPARK_HOME =は/ opt /火花/火花2.4.4-ビンhadoop2.7
エクスポートSCALA_HOME = / OPT /スカラ/スカラ-2.11.8
輸出SPARK_MASTER_IP = 127.0.0.1
エクスポートSPARK_MASTER_PORT = 7077
輸出SPARK_MASTER_WEBUI_PORT = 8099
輸出SPARK_WORKER_CORES = 3
輸出SPARK_WORKER_INSTANCES = 1
輸出SPARK_WORKER_MEMORY = 5G
エクスポートSPARK_WORKER_WEBUI_PORT = 8081
輸出SPARK_EXECUTOR_CORES = 1
輸出SPARK_EXECUTOR_MEMORY = 1G
輸出LD_LIBRARY_PATH = $ {LD_LIBRARY_PATH}：$ HADOOP_HOMEは/ LIB /ネイティブ
Javaの、Hadoopの、その実際の環境設定に応じて、他の特定のパス。
スタートbinディレクトリで火花シェル
私は、あなたがそれのためにコードを書くことができ、Scalaの環境を締結している見ることができます。
火花シェルのウェブインタフェースhttp://127.0.0.1:4040
何か質問がある場合はこれが最初であること、のLinuxコミューン下のコメント欄にお問い合わせください。