记录一次hive on saprk执行报错处理的过程

Posted 2021-08-24 醉舞斜陽

今天早上来到公司，看了一下hue平台执行的时候，出现以下报错，然后我就去平台上查看日志，找了半天也没有找到，以为是spark的问题。

然后在去hive上去看日志，发现了报错如下（原来是与atlas集成的时候，把阿里的oss的jar也移了过来，因为hive设置辅助jar只能设置一个路径）：

查看了一下，无权限，然后去服务器上开通相关的权限

原因是因为这几个包是与aliyun的oss集成的包，hive只有一个辅助jar包的路径，加进去之后，权限需要添加，我又新加了权限。

添加权限命令如下（需要在每台的hive节点上进行添加）：

cd  /usr/local/src/atlas/apache-atlas-2.1.0/hook/hive

chmod 777 aliyun-sdk-oss-3.8.1.jar hadoop-aliyun-3.2.1.jar jdom-1.1.jar 

添加之后进行测试，测试了好多次已经正常。