版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/keyuquan/article/details/77978758
场景： kafka原有两个分区，添加一个分区后，一直运行的实时的spark任务 数据减少约3分之一
分析： spark 将kafka 的offsite维护在checkpoint 里面，当spark任务运行的时候，给kafka添加新的分区，原来的checkpoint只维护原来的两个分区的 offsite,新的分区的offsite 无法维护（checkpoint 只在第一次创建的时候，创建新offsite,以后只是维护）
解决方法： 删除spark的checkpoint 重新启动程序
通过查看日志可知（红色箭头为删除checkpoint前后的数据）：
删除前 spark 只接收 kafka 两个partion的数据；删除后 接收三个partion的数据
总结：kafka的分区一定要在创建topic的时候设置好，要不后续重设很麻烦