这篇文章主要记录下spark中遇到的各种问题,以及解决方法(以后会持续的更新)
1.File does not exist. Holder DFSClient_NONMAPREDUCE_-67513653_1 does not have any open files
今天早上发现程序报了一个这个错误,目前还没找到报错的原因,先记录一下吧.
2.org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions
这个报错是因为startoffest越界了,在设置offest的判断一下就好了.
3,Cannot use map-side combining with array keys
这个报错是因为应该使用flatMap的,但是却用了map,这两者的区别请看这里.
4,KafkaConsumer is not safe for multi-threaded access
报这个错其实是spark的一个bug,在spark2.1.0和spark2.2.0会出现,2.4.0已经修复
issues列表:https://issues.apache.org/jira/browse/SPARK-23636
5,java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/StringDeserializer
扫描二维码关注公众号,回复:
12200046 查看本文章
报这个错是因为少一个jar包,把下面的jar包打到依赖包就可以了