1.彼らはここで私はのmaven-3.6.1を使用して、公式サイトから正しいバージョンを見つける必要があります
wgetののhttp：// mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz
2.は、/ usr / localディレクトリに解凍します
タールのapache-maven- -zxvf 3.6。1 -bin。タール .gzが-Cは/ usr / ローカル RMのapache-maven- 3.6。1 -bin。タール .gzが-Cは/ usr / local
3.ディレクトリ/ usr / localで入力したファイルのディレクトリ名Mavenを変更
CDは/ usr / ローカルの MVのapache-maven- 3.6。1 maven- 3.6。1
4.次に、環境設定の達人
vimのは/ etc / profile
輸出MAVEN_HOME =は/ usr / local / maven- 3.6。1 輸出PATH = $ JAVA_HOME / binにします。$ MAVEN_HOME / binに：$ PATHに
5. [更新環境変数
ソースは/ etc / profile
6.テストMavenは正常にインストールされて
MVN -version
7.Java独立したアプリケーション・プログラミング
1）ユーザのホームフォルダに
CD〜
2）sparkApp2を作成します。
mkdir sparkapp2
3）SimpleApp.javaで./sparkapp2/src/main/javaでファイルを作成します。
vimの./sparkapp2/src/main/java/SimpleApp.java
これは次のように読み取ります。
1 / ** * SimpleApp.java ** * / 2 輸入 org.apache.spark.api.java *。; 3 輸入org.apache.spark.api.java.function.Function。 4つの 5 パブリック クラスSimpleApp { 6 パブリック 静的 ボイドメイン（文字列[]引数）{ 7文字列ログファイル= "ファイル：///usr/local/spark-2.4.3/README.md" 。 8 JavaSparkContextのSC = 新しい JavaSparkContext（ "ローカル"、 "シンプルなアプリ" 、 9 "ファイル：///usr/local/spark-2.4.3/"、新たな文字列[] { "ターゲット/シンプル・プロジェクト-1.0.jar " }）。 10 JavaRDDの<string> LOGDATA = sc.textFile（ログファイル）.cache（）; 11 12 長い numAs = logData.filter（新しい機能<文字列、ブール値> （）{ 13 公共ブールコール（文字列S）{ 14 リターン s.contains（ "A" ）; 15 } 16 }）。（カウント）。 17 18 長い numBs = logData.filter（新しい機能<文字列、ブール値> （）{ 19 公共ブールコール（文字列S）{ 戻り s.contains（ "B" ）;} 20 }）。（カウント）。 21 22するSystem.out.println（ "の行：" + numAs + "Bと、行：" + numBs）。 23 } 24 }
プログラムは、SparkのJava APIを依存しているので、Mavenをパッケージングすることにより、コンパイルする必要があります。
4）./sparkapp2でファイルのpom.xmlを作成します。
あなたはここに依存している場合はMavenの公式ウェブサイトに直接依存閲覧することができ、特定のどのバージョンかわからない、公式サイトのリンク
https://mvnrepository.com/
これは次のように読み取ります。
< プロジェクト> < groupIdを> edu.berkeley </ groupIdを> < たartifactId >シンプル・プロジェクト</ たartifactId > < modelVersion > 4.0.0 </ modelVersion > < 名前>単純なプロジェクト</ 名前> < パッケージ> JAR </ 梱包> < バージョン> 1.0 </ バージョン> < リポジトリ> <リポジトリ> < ID >アッカリポジトリ</ ID > < URL > http://repo.akka.io/releases </ URL > </ リポジトリ> </ リポジトリ> < 依存性> < 依存> <！ - スパーク依存性- - > < のgroupId > org.apache.spark </ のgroupId > < たartifactId >火花core_2.11 </ たartifactId > <バージョン> 2.4.3 </ バージョン> </ 依存関係> </ 依存関係> </ プロジェクト>
5）MavenのパッケージされたJavaプログラムを使用します
CD〜/ sparkapp2を 発見。
6）瓶（時間、それはSBT時間よりも長くなり、ダース以上の20分を消費し、このよう）に、次にアプリケーション全体のパッケージを、次のように成功メッセージがされた後：
maven- /は/ usr / local 3.6。1つの /bin.mvnパッケージ
7）提出スパークしてプログラムを実行します
火花提出スパークにより瓶に提出したパッケージ
/usr/local/spark-2.4.3/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar 2>&1 | grep "Lines with a"