AWS Glue:如何使用 JDBC 连接 oracle db

Posted

技术标签:

【中文标题】AWS Glue:如何使用 JDBC 连接 oracle db【英文标题】:AWS Glue: How to connect oracle db using JDBC 【发布时间】:2018-07-05 07:39:09 【问题描述】:

当我尝试使用 JDBC 从 AWS Glue 连接到外部 Oracle DB 时,出现以下错误。有人可以帮助解决这个问题吗?

使用的驱动代码如下:

test_df = spark.read.format('jdbc').options(url='jdbc:oracle:thin:username/password@//myhostname:1521/servicename',     dbtable="test", driver='oracle.jdbc.driver.OracleDriver').load()

错误日志如下:

py4j.protocol.Py4JJavaError: An error occurred while calling o65.load.
: java.sql.SQLRecoverableException: IO Error: Unknown host specified at oracle.jdbc.driver.T4CConnection.logon(T4CConnection.java:743)
at oracle.jdbc.driver.PhysicalConnection.connect(PhysicalConnection.java:666)
at oracle.jdbc.driver.T4CDriverExtension.getConnection(T4CDriverExtension.java:32)
at oracle.jdbc.driver.OracleDriver.connect(OracleDriver.java:566)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
at py4j.Gateway.invoke(Gateway.java:280)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:214)
at java.lang.Thread.run(Thread.java:748)

谢谢,斯里尼

【问题讨论】:

运行并显示结果ping myhostnamenslookup myhostname 从我的本地 PC 能够 ping 主机,我得到了响应。我可以使用提到的本地驱动程序连接到主机。但是,我尝试在 AWS Glue 中运行相同的驱动程序代码,但我看到了上述错误。 【参考方案1】:

您似乎无法将您在命令中指定的主机名解析。检查这一行:

: java.sql.SQLRecoverableException: IO Error:Unknown hostspecified at oracle.jdbc.driver.T4CConnection.logon(T4CConnection.java:743)

您可以使用nslookupdig 命令来检查主机名是否被解析:

nslookup hostname

dig hostname

如果您没有得到 IP 作为答案,请更正您的主机名、/etc/hosts 记录或 DNS 记录

所有这些测试和更新都需要在运行代码的主机上运行!

Edit1:如果您无法控制运行代码的主机,您可以:

    使用主机的 FQDN 使用 IP 地址而不是主机名(非常糟糕的建议,将其用作临时解决方法)

【讨论】:

如何从 aws 运行上述推荐的命令?请帮助 检查我更新的答案。请使用数据库所在的位置和代码运行位置的信息更新您的问题。 如何获取 FQDN ?我无法控制它。我的主机名是这样的:bmc-2uccetdb-scaa.itdglbl.local 您必须从运行代码的主机提供对该主机的完全访问权限。请查看此页面:docs.oracle.com/cd/E11882_01/install.112/e47689/… 看起来主机已经拥有完全访问权限,我们已经从 AWS Lambda 函数访问同一主机。没有问题。我们仅在 AWS Glue 中遇到问题。上述驱动程序是否有任何变化?

以上是关于AWS Glue:如何使用 JDBC 连接 oracle db的主要内容,如果未能解决你的问题,请参考以下文章

如何使用带有 PySpark 的 WHERE 子句在 AWS Glue 中查询 JDBC 数据库?

在AWS Glue上使用JDBC连接Trino

AWS Python Shell - 如何使用 Glue 目录连接

连接到 SQL Server 实例 AWS Glue

从 AWS Glue 读取 Netezza 时连接超时

AWS Glue to Redshift:是否可以替换,更新或删除数据?