2.1.Xへのスパーク1.5

API差リファレンス公式ウェブサイトのアドレス:https://spark.apache.org/docs/2.1.1/sql-programming-guide.html#upgrading-from-spark-sql-16-to-20

1.SparkSessionは今、古いSQLContextとHiveContextを置き換えるスパークの新しいエントリポイントです

2.Dataset APIとデータフレームAPIが統一されています。Scalaで、[行]データセットの型エイリアスなります

3.DatasetとデータフレームAPIは  registerTempTable 、非推奨となっており、 createOrReplaceTempView

ヴァルcomputerTable = dataComputerInfo(sqlContext、sparkModel、countDay)
computerTable.registerTempTable( "table_computer_info")
to  
ヴァルcomputerTable = dataComputerInfo(sqlContext、sparkModel、countDay)
computerTable.createOrReplaceTempView( "table_computer_info")

4.DatasetとデータフレームAPI unionAllは廃止し、組合に置き換えられました

5.DatasetとデータフレームAPI爆発廃止された、あるいは、選択またはとともに使用functions.explode()flatMap

第二項は、既知期限切れのデータセットを持って、以降hiveutil hbaseutilsの必要があるRDD

実際の状況に応じて、以下の変更を行います。

ヴァル gywir = serverData。EET .MAP(X => {

-------------------------------------------------- -------------------------------------------------- ---------------------------

ヴァルresultRdd = result.toJSON.rdd.map(X => {

Datasetの//はありません事前に定義されたエンコーダ[マップ[K、V]]、明示的に定義します

暗黙のヴァルmapEncoder = org.apache.spark.sql.Encoders.kryo [地図[文字列、任意]]

//プリミティブ型とケースクラスとしても定義することができます

//暗黙ヴァルstringIntMapEncoder:エンコーダ[マップ[文字列、任意] = ExpressionEncoder()

 

ビジネスのスタートアップパラメータを取得7.

 ヴァルhtable = sparkModel.getUserParamsVal( "htable"、 "t_table")

  

おすすめ

転載: www.cnblogs.com/shaozhiqi/p/12157873.html