プログラムのアイデアに火花をデバッグ - 設定ウィンドウ上でローカルモードの火付け役

スパーク手順は、一般的に次の動作モードがあります。

      スタンドアロンモード:ネイティブモードの火付け役

       糸の火花:リソース管理を行うために、クラスタのHadoop糸の使用

      ローカルモード:テスト時の主な用途、       

  これらの三つのモデルは、大きく分けて、私は地元の糸で使用することを理解します。毎回プログラムパッケージを場合は、それらの中で、我々は、通常アイデアに書かれたスパークプログラムを、書き、その後、クラスタにアップロードし、その後、実行し、それは真剣に私たちの効率に影響を与えますので、デバッグコード、通常はローカルモードで、窓アイデアの直接操作。

  環境設定手順は以下の通りである:各固有のインストール手順の唯一の簡単な説明は、自己百度であってもよいです

       1、JDKのインストール、基本的な環境

             2、Hadoopのインストールは、ウィンドウを使用するには、スパークのHadoopは、ローカルライブラリをHDFS、インストールされていない場合は、次のエラーが報告されました:

      Hadoopのバイナリパスでバイナリwinutilsを見つけることができませんでした

               Hadoopのインストール手順:インストールパッケージのLinuxにインストールされているのHadoop tar.gz形式のインストールパッケージの(1)最初のコピー、抽出することができます。

                                                       (2)githubのにhttps://github.com/srccodes/hadoop-common-2.2.0-binをダウンロードし、内部はwinutils、コンパイラパッケージです

                                         (3)一般的な解凍を、ビンのHadoopのインストールディレクトリにビン内のすべてのファイルをコピーし、重複ファイルをカバーしました。

                                                     (4)指定された特定の場所がクラスパスをwinutils請求HADOOP_HOME CLASSPATHは、配置されています。

           3、プラグインのScalaをインストールするためのアイデア

           ローカルデバッグウィンドウにあなたの旅を開始します

 

おすすめ

転載: www.cnblogs.com/guoyu1/p/11669011.html