スパーク手順は、一般的に次の動作モードがあります。
スタンドアロンモード:ネイティブモードの火付け役
糸の火花:リソース管理を行うために、クラスタのHadoop糸の使用
ローカルモード:テスト時の主な用途、
これらの三つのモデルは、大きく分けて、私は地元の糸で使用することを理解します。毎回プログラムパッケージを場合は、それらの中で、我々は、通常アイデアに書かれたスパークプログラムを、書き、その後、クラスタにアップロードし、その後、実行し、それは真剣に私たちの効率に影響を与えますので、デバッグコード、通常はローカルモードで、窓アイデアの直接操作。
環境設定手順は以下の通りである:各固有のインストール手順の唯一の簡単な説明は、自己百度であってもよいです
1、JDKのインストール、基本的な環境
2、Hadoopのインストールは、ウィンドウを使用するには、スパークのHadoopは、ローカルライブラリをHDFS、インストールされていない場合は、次のエラーが報告されました:
Hadoopのバイナリパスでバイナリwinutilsを見つけることができませんでした
Hadoopのインストール手順:インストールパッケージのLinuxにインストールされているのHadoop tar.gz形式のインストールパッケージの(1)最初のコピー、抽出することができます。
(2)githubのにhttps://github.com/srccodes/hadoop-common-2.2.0-binをダウンロードし、内部はwinutils、コンパイラパッケージです
(3)一般的な解凍を、ビンのHadoopのインストールディレクトリにビン内のすべてのファイルをコピーし、重複ファイルをカバーしました。
(4)指定された特定の場所がクラスパスをwinutils請求HADOOP_HOME CLASSPATHは、配置されています。
3、プラグインのScalaをインストールするためのアイデア
ローカルデバッグウィンドウにあなたの旅を開始します