HDP Sandbox 中 MongoDB Hadoop 连接器故障生成的 Hive 日志在哪里？

Posted 2023-02-16

【中文标题】HDP Sandbox 中 MongoDB Hadoop 连接器故障生成的 Hive 日志在哪里？

【英文标题】：Where are the Hive logs generated by a MongoDB Hadoop connector failure in HDP Sandbox?

【发布时间】：2016-11-30 11:36:04

【问题描述】：

我遇到了一个奇怪的错误，我在 Azure Hortonworks Sandbox 的任何日志中都找不到。 我正在尝试执行以下操作方法以尝试将 Mongodb 与 Hadoop (Hive) 集成：https://www.mongodb.com/blog/post/using-mongodb-hadoop-spark-part-2-hive-example，但是当我尝试使用 Hive 在 Mongo 中创建表时，出现以下错误（使用 hive CLI，beeline和 MR2 和 Tez 处理器上的 Ambari Hive 视图）：

Error: Error while processing statement:  FAILED: Execution Error, 
return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.com/mongodb/BasicDBObject (state=08S01,code=1)

好吧，通过谷歌搜索这条消息，我发现人们引用了一些描述真正异常的 java 日志，并得出结论（大部分时间）类路径中缺少 mongodb-java-driver jar。

我的第一个问题：这些描述真正异常的日志在哪里？因为查看 /var/log/hive*/*.log 和 Yarn ResourceManagerUI -> 日志，除了“InterruptedException”、“ERROR applicationhistoryservice.ApplicationHistoryServer (LogAdapter.java:error(69)) - RECEIVED SIGNAL，我什么也看不到15: SIGTERM" 等等......但没有什么真正有用的。

接下来，我在本地路径中添加了 mongo-hadoop-core 和 mongo-hadoop-hive jar（根据我的沙盒版本规范从 github 构建）和 mongodb-java-driver 版本 3.3.0，在hive-site.xml 的 hive.aux.jars.path 部分，最后重新启动了我的 hive 服务（所以，包括 hive-server2）......但是没有办法让它工作，也没有办法获得更多信息来理解为什么它没有运行...

我是不是忘记了什么？ 感谢您的帮助！

【参考方案1】：

好吧，我终于找到了我的问题。

罐子 bson-$MongoVersion.jar 和 mongodb-driver-core-$MongoVersion.jar 丢失。

即使连接器文档指定我们需要包含 mongo-hadoop-core-$connectorVersion.jar、mongo-hadoop-hive-$connectorVersion.jar 和 mongodb -driver-$mongoJavaDriver.jar 到 hadoop 类路径，好像也需要 bson 和 mongodb-driver-core jars。

最后，日志位于：/var/log/hive/hiveserver2.log。我不明白我怎么会在阅读这些日志时错过这样的消息，但是，就是这样。