学習スパークで日食の習慣、読んでこの記事をスタンドアロン環境を構築することが、この単一の環境では、クラスタ環境の後、私はまた、簡単に信じて、構築するために...

ローカルにダウンロードスカラ
ローカルダウンロードスパーク
スカラ座や地元ダウンロードEclipseプラグイン

上記のプロセスは、オンラインチュートリアルをたくさん持っています。

ビル・プロセス

記事のトップと私のビルドプロセスにはいくつかのギャップ、結局、昔からあります...

最初のステップ：構築するために、後でより良い環境を構築するためのScalaのプロジェクトを。
ステップ2：本プロジェクトで構築するためのScalaのオブジェクトを、上のScalaはに基づいて1構築オブジェクト勝つのと同等の意味する。pythonのメソッドの動作を。Scalaは常に、その構文を知って見に奇妙されています...
第三段階：インポートスパーク関連パッケージには、（図示のように）、とにかく問題を回避するために、私はすべてのインポートされました

、次のプロジェクトの設立後に小さなクロス、右持っているように見える場合はScalaのライブラリコンテナを選択し、プロパティの世代のバージョンの選択スカラ座あなたが試すことができない場合は、小さなクロスの問題を解決するために、他のバージョンを（示されているように）してみてください。（私のデフォルトでは、小さなクロスが消え2.11変更を下回る、2.12である、spark2.2.0デフォルトの作成と配布スカラ2.11）

テスト

建築環境は、この試験では、とても簡単です。、完了したばかりのプロジェクトに次のコードを入力する通知を

      
      
       
       輸入
        org.apache.spark.SparkConf
      
      
      
      
       
       輸入
        org.apache.spark.SparkContext
      
      
      
            
      
      
      
      
       
       オブジェクトFirst_Spark {
      
      
      
        
       
       DEF （引数：配列[文字列]） ：単位
        = {
      
      
      
      
       
           選択CONF = 新しい SparkConf（）
      
       
       
       
      
      
      
       
           conf.setAppName（"フリストスパーク"）
      
       
       
       
      
      
      
       
           conf.setMaster（"ローカル"）
      
       
       
       
      
      
      
       
           ヴァル・SC = 新しい SparkContext（CONF）
      
       
       
       
      
      
                                   
       
       //以下は、ファイルの場所です
      
      
      
      
       
           ヴァル線= sc.textFile（"/Users/junjieliu/Downloads/README.md" 、 
        1）
      
       
       
       
       
       
      
      
      
       
           ヴァルワード= lines.flatMap {（ライン=> lines.split（"" ））}
      
       
       
       
      
      
      
       
           ヴァル対= words.map {単語=>（単語、1）}
      
       
       
       
      
      
      
       
           ヴァルWORDCOUNT = pairs.reduceByKey（_ _ +）
      
      
      
      
       
           wordcount.foreach（ペア=> printlnを（pair._1 + "：" + pair._2））
      
       
       
       
      
      
      
       
           sc.stop（）
      
      
      
      
       
         }
      
      
      
      
      
      
       
       }

运行，点击run（如图）

测试效果：

看起来是不是比Hadoop的mapreduce简单多了，哈哈。

补充：

在eclipse中编译spark代码时，应当加上println之类的方法在最后以保结果可以正确输出，为何要强调这一点呢？因为在终端运行代码时，我们通常是不需要输入println之类的方法就可输出相关的结果的，这一点应该记住，不然易导致在eclipse中运行代码时容易出错，并且大部分人我相信也会像从前的我一样没有什么头绪，而现在就有了…

如图：

这些真的都需要自己去实践发现的，我也是在参考了一些资料之后才发现的这个问题…因为网上关于用eclipse像我这样编译spark的教程并不多，据我所看到的，大多用maven来搭建spark的编译环境的。

最为重要的一点是在eclipse中编译相关的代码时，输出的结果是无法判断是否是正确的…即使我们在平时的编译中是有一定的错误提示的，但是对于初学者来说还是有一点不友好的感觉…

また、コメントを追加しました：日食は、結果を実行するときに、いくつかのバッファ時間は、ディスプレイの右下隅にあるだろう少し慎重に友人が見つけることが、ひいては結果が出力に少し時間がかかると言われている（それは権利であるとして結果）。だから、日食（最初の実行が開始されます後、あなたが結果の正確な相関関係を得ることができるので、それは一般的に二回実行されるので、必要バッファの）数回以上実行するために必要なランタイム、結果は、最大の問題右ではない場合おそらく上のコードで...

オリジナル：大列日食で構築されたスパーク動作環境（スタンドアロン）

スパーク（スタンドアローン）日食ランタイム環境でビルド

ビル・プロセス

テスト

おすすめ