スパーク変数

  ドライバ変数:のオペレータには変数がありません。

    オペレータは何ですか

    変換:

   

  入出力パーティション一種パーティション

    1、マップのオペレータ

    2、flatMapオペレータ

    3、mapPartitions算子

    4、glomオペレータ

  一つの入力パーティションとパーティションタイプ出力に多くの第二に、 

    5、union演算子

    6、デカルト算子

  第三に、入力と出力のパーティションpartition-多くのタイプ

    7、grouByオペレータ

  第四には、出力は、パーティションのパーティションタイプのサブセットで入力され、

    図8に示すように、フィルタ演算子

    9、DISTINCT演算子

    10、減算演算子

    11、サンプルオペレータ

        12、takeSample算子

   五、キャッシュタイプ

    13、キャッシュオペレーター  

    14、オペレータを永続

 

2)キーと値のデータ型Transfromationオペレータ

  まず、一つのパーティションを有する入出力部

    15、mapValuesオペレータ

  第二に、単一または2 RDD RDDの集約

   RDD単一の収集

    16、combineByKey算子

    17、reduceByKey算子

    18、partitionByオペレータ

   二RDDが集まります

    19、コグループオペレータ

  第三に、接続

    20、オペレータに参加

    21、leftOutJoinとrightOutJoinオペレータ

 

 

 3)アクションオペレータ

  まず、出力なし

    22、foreachのオペレータ

  二、HDFS

    23、saveAsTextFileオペレータ

    24、saveAsObjectFile算子

  三、Scalaのセットとデータ型

    25、収集オペレータ

    26、collectAsMapオペレータ

      27、reduceByKeyLocally算子

      28、検索演算子

    29、カウントオペレータ

    30、トップオペレータ

    31、オペレータを削減

    32、オペレータを折ります

    33、集計算子

      

 

 

  excutor変数

 

  タスク変数

  

おすすめ

転載: www.cnblogs.com/BrentBoys/p/11823216.html