API差リファレンス公式ウェブサイトのアドレス:https://spark.apache.org/docs/2.1.1/sql-programming-guide.html#upgrading-from-spark-sql-16-to-20
1.SparkSessionは今、古いSQLContextとHiveContextを置き換えるスパークの新しいエントリポイントです
2.Dataset APIとデータフレームAPIが統一されています。Scalaで、[行]データセットの型エイリアスなります
3.DatasetとデータフレームAPIは registerTempTable
、非推奨となっており、 createOrReplaceTempView
ヴァルcomputerTable = dataComputerInfo(sqlContext、sparkModel、countDay) computerTable.registerTempTable( "table_computer_info")
to
ヴァルcomputerTable = dataComputerInfo(sqlContext、sparkModel、countDay) computerTable.createOrReplaceTempView( "table_computer_info")
4.DatasetとデータフレームAPI unionAllは廃止し、組合に置き換えられました
5.DatasetとデータフレームAPI爆発廃止された、あるいは、選択またはとともに使用functions.explode()flatMap
第二項は、既知期限切れのデータセットを持って、以降hiveutil hbaseutilsの必要があるRDD
実際の状況に応じて、以下の変更を行います。
ヴァル gywir = serverData。EET .MAP(X => {
-------------------------------------------------- -------------------------------------------------- ---------------------------
ヴァルresultRdd = result.toJSON.rdd.map(X => {
Datasetの//はありません事前に定義されたエンコーダ[マップ[K、V]]、明示的に定義します
暗黙のヴァルmapEncoder = org.apache.spark.sql.Encoders.kryo [地図[文字列、任意]]
//プリミティブ型とケースクラスとしても定義することができます
//暗黙ヴァルstringIntMapEncoder:エンコーダ[マップ[文字列、任意] = ExpressionEncoder()
ビジネスのスタートアップパラメータを取得7.
ヴァルhtable = sparkModel.getUserParamsVal( "htable"、 "t_table")