spark程序报错:java.lang.IndexOutOfBoundsException

读入的text文档,x.split("\\|").toDF。如果最后一列(或最后几列)有空数据,map(x => x(lastone)),就会报数组越界的错,java.lang.IndexOutOfBoundsException。

所以只要用x.split("\\|",-1)这个就能解决。

如果hive里面多个表指向同一个路径,也会出现同样的报错。可以参考我朋友的解决方案。

https://blog.csdn.net/lsr40/article/details/81289499

猜你喜欢

转载自blog.csdn.net/weixin_39182877/article/details/82427605