Java.lang.IllegalStateException: dbfs:/user/hive/warehouse/zcw_cr/_spark_metadata/0 doesn‘t exist (l

前言

hive表之前被TRUNCATE 后再次链接就出现报错

解决办法

这个 IllegalStateException 异常通常是 Spark Structured Streaming 在访问 Spark metadata 时产生的。
一些可能的原因:

• metadata 路径不存在或者不可访问,例如 dbfs:/user/hive/warehouse/zcw_cr/_spark_metadata/0
• 当 checkpoint 目录被删除或者移动后,Structured Streaming无法找到正确的元数据信息
• Structured Streaming 中的 compaction 策略配置错误,导致老的数据被错误删除
• 不同的 Structured Streaming query 之间共享了同一个 checkpoint 目录,造成 metadata 冲突
• Structured Streaming 升级至新版本后,老版本的 metadata 可能不兼容
  为了解决这个问题,可以尝试:

1. 确认 metadata 路径存在并可访问
2. 不要手动删除或修改 checkpoint 目录
3. 调整 compaction 策略,例如增加 compactionInterval 值
4. 每个 query 使用独立的 checkpoint 目录
5. 重新运行 query,让 Structured Streaming 重新生成 metadata
6. 将 Structured Streaming 升级至最新版本
7. 必要时,可以删除 checkpoint 目录,并重新启动 query
8. 检查不同 query 之间的 checkpoint 目录配置是否冲突
   总之,要确保 metadata 的保存路径是正确和可访问的,并且避免手动删除或修改该路径的数据。