[解决方案] java.lang.ArrayIndexOutOfBoundsException: 3
Posted Sinsa_SI
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了[解决方案] java.lang.ArrayIndexOutOfBoundsException: 3相关的知识，希望对你有一定的参考价值。
[解决方案] Lost task 0.0 in stage 242.0 (TID 50429, spark-dn-bdp-p-037040.hz.td, executor 526): java.lang.ArrayIndexOutOfBoundsException: 3
原始代码
报错信息
分析过程
spark 升级到 spark 2.3.2后就有这个问题。具体原因后续再更新。
解决方案
加入 select 语句，pyspark 如下：
Scala 中解决办法为：
val isPartitionTable = spark.sql(s"desc test_table").select("col_name", "data_type").collect()
以上是关于[解决方案] java.lang.ArrayIndexOutOfBoundsException: 3的主要内容，如果未能解决你的问题，请参考以下文章
Android Studio打包报错OutOfMemoryError解决方案