姿勢--col、$、コラム、適用スパークは、いくつかの列にデータフレームを取得します

(https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/sql/Column.html)の1.DOC解釈
 DF(" COLUMNNAME ")             // 特定のデータフレームに。
   COL(COLUMNNAMEは)            // 何もまだDATAFRAMEに関連付けられていない一般的なコラムを。
   COL(" columnName.field ")      // 構造体のフィールドの抽出 
   COLを(" ` a.column.with.dots`は"// カラム名に.``エスケープ。
   $ COLUMNNAME                // という名前の列のためのScalaの短い手。
   exprの(" A + 1 "// 解析されたSQL式から構成されている列。
   点灯(ABCは)                   // リテラル(定数)値を生成列を。

2.パッケージの使用に関連します

   輸入spark.implicits._ 
   輸入org.apache.spark.sql.functions._の
   輸入org.apache.spark.sql.Column
3.例
スカラ>ヴァルidCol = $ " ID " 
idCol:org.apache.spark.sql.ColumnName = IDの
 
スカラ >ヴァルidCol = COL(" ID " 
idCol:org.apache.spark.sql.Column = IDの
 
スカラ >ヴァルidCol =カラム(" ID " 
idCol:org.apache.spark.sql.Column ID =
スカラ>ヴァルデータセット= spark.range(5).toDF(" テキスト" 
データセット:org.apache.spark.sql.DataFrame = [テキスト:BIGINT] 
 
スカラ >ヴァルtextCol = dataset.col(" テキスト" 
textCol。 org.apache.spark.sql.Column = テキスト
 
スカラ >ヴァルtextCol = dataset.apply(" テキスト" 
textCol:org.apache.spark.sql.Column = テキスト
 
スカラ >ヴァルtextCol =データセット(" テキスト" 
textCol: org.apache.spark.sql.Column =テキスト

 

おすすめ

転載: www.cnblogs.com/itboys/p/10962665.html