scala-sparkML学习笔记:Execption in thread "main" java.lang.AbstractMethodError: ml.dmlc.xgboost4j.scala

在通过:

spark-2.4.3-bin-hadoop2.7/bin/spark-submit  --class ml.dmlc.xgboost4j.scala.example.spark.SparkMLlibPipeline --jars /***/scala_workSpace/test/xgboost4j-example_2.11-1.0.0-jar-with-dependencies.jar /***/scala_workSpace/test/xgboost4j-example_2.11-1.0.0.jar /tmp/rd/lp/iris.data /***/scala_workSpace/test/nativeModel /tmp/rd/lp/pipelineModel
提交任务,进行xgboost训练中会出现这个错误,有可能是因为jar冲突。(我就是,调试了两天)

因为spark jars中有xgboost4j-0.72.jar和xgboost4j-spark-0.72.jar, 而我在spark-submit时的xgboost4j-example_2.11-1.0.0-jar-with-dependencies.jar中含有xgboost4j-0.90和xgboost4j-spark-0.90造成两个包中的XGBoostClassifer冲突。

发布了342 篇原创文章 · 获赞 794 · 访问量 178万+

猜你喜欢

转载自blog.csdn.net/u014365862/article/details/100146667
今日推荐