スパーク共通オペレータサンプル息子を達成するJava



org.apache.spark.SparkConfインポート
インポートorg.apache.spark.api.java.JavaRDD ;
インポートorg.apache.spark.api.java.JavaSparkContext ;
インポートorg.apache.spark.api.java.function.VoidFunction

java.util.Arraysインポート;
インポートjava.util.Listに;

/ **
* sampleoperator(にwithReplacement、分数、SEED)演算子
*ランダムサンプリングRDDのデータ
*最初のパラメータ:boolean型を作製したサンプルを示し繰り返すことができる
*二番目のパラメータ:比例代表サンプリング
*第三のパラメータ:乱数シードの代表は、初期値のサンプル・アルゴリズムである
*
* /
パブリッククラスSampleOperator {
公共の静的な無効メイン(文字列[]引数){
SparkConf = confの新しい新SparkConf()。setMaster("ローカル")。setAppName("サンプル");
JavaSparkContext SC = 新しいJavaSparkContext(CONF)
一覧<文字列>リスト=配列。asList("W1" "W2" "W3" "W4" "W5" "W6" "W7" "W8" "W9" "W10")

JavaRDDの<string> listRdd = sc.parallelize(リスト)

JavaRDDの<string> sampleRdd = listRdd.sample(偽、0.5)

sampleRdd.foreach(新しいVoidFunction <文字列>


システム。err.println(S)
}
})



}
}

より多くのビッグデータ、人工知能、アルゴリズムやああ自由な他の学習教材用マイクロチャネルの二次元コードスキャン次の図Jiaruボーメイン知識惑星!

おすすめ

転載: www.cnblogs.com/guokai870510826/p/11635206.html