spark模型error java.lang.IllegalArgumentException: Row length is 0

Posted shaozhiqi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark模型error java.lang.IllegalArgumentException: Row length is 0相关的知识,希望对你有一定的参考价值。

failure: Lost task 18.3 in stage 17.0 (TID 59784,XXXXX, executor 19): java.lang.IllegalArgumentException: Row length is 0

场景是写入hbase:

val put = new Put(Bytes.toBytes(line._1))

当取出的line._1做为row,值是“”或者null时就会出现此异常。所以做如下处理,先过滤掉为null和“”的数据

    val bhaseRdd = resultRdd.filter(r => 
      r._1 != "" && r._1!=null&&r._1.length>0
    ).map(line => 
      val put = new Put(Bytes.toBytes(line._1)) //rowKey 为参数,拿到put
      val key = line._2.keySet().iterator(); //拿到对应的dataMap
........

 

以上是关于spark模型error java.lang.IllegalArgumentException: Row length is 0的主要内容,如果未能解决你的问题,请参考以下文章

将 Hbase 表加载到 Spark -

Spark Naive Bayes 模型 - 没有这样的方法错误

spark模型运行时无法连接摸个excutors异常org.apache.spark.shuffle.FetchFailedException: Failed to connect to xxxx/x

Win安装Spark问题:ERROR SparkContext: Error initializing SparkContext

Spark-shell报error: not found错误

Spark 2.0.0 SPARK-SQL returns NPE Error