pyspark之sparkML机器学习常见问题之一：removing nulls from dataset or using handleInvalid = "keep" or "skip".

使用python语言开发sparkML机器学习程序，遇到如异常：

Caused by: org.apache.spark.SparkException: Encountered null while assembling a row with handleInvalid = "keep". Consider
removing nulls from dataset or using handleInvalid = "keep" or "skip".
at org.apache.spark.ml.feature.VectorAssembler$$anonfun$assemble$1.apply(VectorAssembler.scala:287)
at org.apache.spark.ml.feature.VectorAssembler$$anonfun$assemble$1.apply(VectorAssembler.scala:255)
at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
at scala.collection.mutable.WrappedArray.foreach(WrappedArray.scala:35)
at org.apache.spark.ml.feature.VectorAssembler$.assemble(VectorAssembler.scala:255)
at org.apache.spark.ml.feature.VectorAssembler$$anonfun$4.apply(VectorAssembler.scala:144)
at org.apache.spark.ml.feature.VectorAssembler$$anonfun$4.apply(VectorAssembler.scala:143)
... 16 more

1.分析异常提示：

removing nulls from dataset or using handleInvalid = "keep" or "skip". 根据提示应该是说数据集中的特征列存在null值，建议将null值移除。或者配置参数handleInvalid = "keep" or "skip"。

首先在机器学习过程中，数据集的规范性非常重要。这里并不是说你爬取或直接拿来的数据就直接是很规范的。是需要我们在机器学习训练之前对训练数据集做预处理成完整规范的数据。比如null值预处理，特征值字符串形式转换成数值类型，对训练无关的列删除等操作。

2.解决方法：

1）删除null值列

2) 配置参数，这里采用第二种方式用于测试配置参数的执行效果

参数说明：handleInvalid="skip" or "keep" ，skip即代表跳过null值不处理， keep代表保留null值

该参数需要放置在特征列转换特征向量的函数中：这里使用skip方式

vec_assembler = VectorAssembler(inputCols=feature_cols, outputCol='features',handleInvalid="skip")
查看VectorAssembler源码：

@keyword_only
def __init__(self, inputCols=None, outputCol=None, handleInvalid="error"):
    """
    __init__(self, inputCols=None, outputCol=None, handleInvalid="error")
    """
    super(VectorAssembler, self).__init__()
    self._java_obj = self._new_java_obj("org.apache.spark.ml.feature.VectorAssembler", self.uid)
    self._setDefault(handleInvalid="error")
    kwargs = self._input_kwargs
    self.setParams(**kwargs)

默认情况下该函数的handleInvalid="error" 参数定义为error 即如果特征列数据有问题会抛出异常提示。

3. 再次运行测试异常解决

pyspark之sparkML机器学习常见问题之一：removing nulls from dataset or using handleInvalid = "keep" or "skip".

猜你喜欢