(https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/sql/Column.html)の1.DOC解釈
DF(" COLUMNNAME ") // 特定のデータフレームに。
COL(「COLUMNNAMEは」) // 何もまだDATAFRAMEに関連付けられていない一般的なコラムを。
COL(" columnName.field ") // 構造体のフィールドの抽出
COLを(" ` a.column.with.dots`は")// カラム名に.``エスケープ。
$ 「COLUMNNAME 」 // という名前の列のためのScalaの短い手。
exprの(" A + 1 "// 解析されたSQL式から構成されている列。
点灯(「ABCは」) // リテラル(定数)値を生成列を。
2.パッケージの使用に関連します
輸入spark.implicits._
輸入org.apache.spark.sql.functions._の
輸入org.apache.spark.sql.Column
3.例
スカラ>ヴァルidCol = $ " ID "
idCol:org.apache.spark.sql.ColumnName = IDの
スカラ >ヴァルidCol = COL(" ID " )
idCol:org.apache.spark.sql.Column = IDの
スカラ >ヴァルidCol =カラム(" ID " )
idCol:org.apache.spark.sql.Column ID =
スカラ>ヴァルデータセット= spark.range(5).toDF(" テキスト" )
データセット:org.apache.spark.sql.DataFrame = [テキスト:BIGINT]
スカラ >ヴァルtextCol = dataset.col(" テキスト" )
textCol。 org.apache.spark.sql.Column = テキスト
スカラ >ヴァルtextCol = dataset.apply(" テキスト" )
textCol:org.apache.spark.sql.Column = テキスト
スカラ >ヴァルtextCol =データセット(" テキスト" )
textCol: org.apache.spark.sql.Column =テキスト