spark error Caused by: java.io.NotSerializableException: org.apache.hadoop.hdfs.DistributedFileSyst
Posted 狂奔小蜗牛
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark error Caused by: java.io.NotSerializableException: org.apache.hadoop.hdfs.DistributedFileSyst相关的知识，希望对你有一定的参考价值。
序列化问题多事rdd遍历过程中使用了没有序列化的对象。
1.将未序列化的变量定义到rdd遍历内部。如定义入数据库连接池。
2.常量定义里包含了未序列化对象 ，提出去吧
如下常量要放到main里，不能放到rdd的遍历中。
val HBASE_TABLE = sparkModel.getUserParamsVal("hbbase_table", "default_table_name")
以上是关于spark error Caused by: java.io.NotSerializableException: org.apache.hadoop.hdfs.DistributedFileSyst的主要内容，如果未能解决你的问题，请参考以下文章
idea连接spark集群报错解析：Caused by: java.lang.ClassCastException
spark提示Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot b
mybatis Caused by: org.apache.ibatis.reflection.ReflectionException: Error instantiating class .. wi
Caused by: com.rabbitmq.client.ShutdownSignalException: connection error
Bug解决pymongo.errors.OperationFailure: Executor error during find command :: caused by :: Sort exce