[解决方案] java.lang.ArrayIndexOutOfBoundsException: 3

Posted Sinsa_SI

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了[解决方案] java.lang.ArrayIndexOutOfBoundsException: 3相关的知识，希望对你有一定的参考价值。

[解决方案] Lost task 0.0 in stage 242.0 (TID 50429, spark-dn-bdp-p-037040.hz.td, executor 526): java.lang.ArrayIndexOutOfBoundsException: 3

原始代码

报错信息

分析过程

spark 升级到 spark 2.3.2后就有这个问题。具体原因后续再更新。

解决方案

加入 select 语句，pyspark 如下：

Scala 中解决办法为：

val isPartitionTable = spark.sql(s"desc test_table").select("col_name", "data_type").collect()

以上是关于[解决方案] java.lang.ArrayIndexOutOfBoundsException: 3的主要内容，如果未能解决你的问题，请参考以下文章