Flink Scala API中的类型信息

版权声明：转载请注明出处！ https://blog.csdn.net/ddxygq/article/details/86601788

通过类型清单(manifests) and 类标签功能，Scala对于运行时的类型信息有着非常详细的概念。通常，Scala对象的类型和方法可以访问其泛型参数的类型，因此，Scala程序不会有Java程序那样的类型擦除问题。

此外，Scala允许通过Scala的宏在Scala编译器中运行自定义代码，这意味着当你编译针对Flink的Scala API编写的Scala程序时，会执行一些Flink代码。 在编译期间，我们使用宏来查看所有用户方法的参数类型和返回类型，编译期也是所有类型信息完全可用的时候。在宏中，我们为方法的返回类型（或参数类型）创建一个TypeInformation，并将其作为方法的一部分。

无隐式值导致的证据参数（Evidence Parameter）错误

如果无法创建TypeInformation，程序编译报错：

“could not find implicit value for evidence parameter of type TypeInformation”

常见的原因是生成TypeInformation的代码没有被导入，请确保导入了完整的flink.api.scala包。

import org.apache.flink.api.scala._

另外一个常见原因是泛型方法，这种情况可以通过下面的方法进行修复。

泛型方法

思考下面这个例子：

def selectFirst[T](input: DataSet[(T, _)]) : DataSet[T] = {
  input.map { v => v._1 }
}

val data : DataSet[(String, Long) = ...

val result = selectFirst(data)

例子中的这种泛型方法，方法参数和返回类型的数据类型对每次调用可能不一样，并且定义方法的地方也不知道。这就会导致上面的代码产生一个没有足够的隐式证据可用的错误。

在这种情况下，类型信息必须在调用的地方生成并传给方法。Scala为此提供了隐式参数。

下面的代码告诉Scala把T的类型信息带入方法，然后类型信息会在方法被调用的地方生成，而不是在方法定义的位置生成。

def selectFirst[T : TypeInformation](input: DataSet[(T, _)]) : DataSet[T] = {
  input.map { v => v._1 }
}