通过 hive 访问 maxmind 的 GeoIP-country.mmdb 数据库时出现异常

Posted 2023-02-23

【中文标题】通过 hive 访问 maxmind 的 GeoIP-country.mmdb 数据库时出现异常

【英文标题】：Exception while accessing maxmind's GeoIP-country.mmdb database through hive

【发布时间】：2014-08-18 23:01:35

【问题描述】：

我有一个自定义配置单元 UDF 来访问 Maxmind 的 GeoIP-country.mmdb 数据库，该数据库通过“添加文件 pqr.mmdb”添加到配置单元资源中。编译后的 UDF 添加为“add jar abc.jar” 当我运行 hive 查询时，java 类在后台尝试访问地理数据库中的数据并通过抛出以下异常而失败。

Error: java.lang.ClassNotFoundException: com.maxmind.db.Reader$FileMode
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at com.maxmind.geoip2.DatabaseReader$Builder.<init>(DatabaseReader.java:68)

我分别尝试了以下两行，但仍然抛出相同的错误。我的数据库文件和 jar 都添加到 hive 资源中。

reader = new DatabaseReader.Builder(database).fileMode(Reader.FileMode.MEMORY_MAPPED).build();

与

reader = new DatabaseReader.Builder(database).fileMode(Reader.FileMode.MEMORY).build();

有没有人遇到过类似的问题？ 谢谢 ！ - 拉利斯

【问题讨论】：

您提到添加了所有 JAR，但从例外情况来看，您似乎缺少 com.maxmind.db。您添加了哪些 JAR？有关所有必需的 JAR，请参阅 this ZIP file。

漂亮！我使用了 geoip2 maven 依赖项并配置了 pom 以将所有需要的依赖项添加到已编译的 jar 中。但在这种情况下似乎没有发生这种情况，导致了这个问题。添加您提供的罐子解决了它。你介意我问你从哪里下载这些罐子吗？看起来并非所有这些都与 geoip2 相关。还是它们相互依赖？谢谢！

【参考方案1】：

（将其移至实际答案。）

geoip2-0.8.0-with-dependencies.zip file 包含 API 所依赖的所有 JAR。 ZIP 文件是在构建 GeoIP2 期间创建的。包含的 JAR 是 pom.xml file 中列出的所有依赖项或依赖项的依赖项。 zip 列在releases page。