AWS Glue:如何使用 JDBC 连接 oracle db
Posted
技术标签:
【中文标题】AWS Glue:如何使用 JDBC 连接 oracle db【英文标题】:AWS Glue: How to connect oracle db using JDBC 【发布时间】:2018-07-05 07:39:09 【问题描述】:当我尝试使用 JDBC 从 AWS Glue 连接到外部 Oracle DB 时,出现以下错误。有人可以帮助解决这个问题吗?
使用的驱动代码如下:
test_df = spark.read.format('jdbc').options(url='jdbc:oracle:thin:username/password@//myhostname:1521/servicename', dbtable="test", driver='oracle.jdbc.driver.OracleDriver').load()
错误日志如下:
py4j.protocol.Py4JJavaError: An error occurred while calling o65.load.
: java.sql.SQLRecoverableException: IO Error: Unknown host specified at oracle.jdbc.driver.T4CConnection.logon(T4CConnection.java:743)
at oracle.jdbc.driver.PhysicalConnection.connect(PhysicalConnection.java:666)
at oracle.jdbc.driver.T4CDriverExtension.getConnection(T4CDriverExtension.java:32)
at oracle.jdbc.driver.OracleDriver.connect(OracleDriver.java:566)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
at py4j.Gateway.invoke(Gateway.java:280)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:214)
at java.lang.Thread.run(Thread.java:748)
谢谢,斯里尼
【问题讨论】:
运行并显示结果ping myhostname
或nslookup myhostname
从我的本地 PC 能够 ping 主机,我得到了响应。我可以使用提到的本地驱动程序连接到主机。但是,我尝试在 AWS Glue 中运行相同的驱动程序代码,但我看到了上述错误。
【参考方案1】:
您似乎无法将您在命令中指定的主机名解析。检查这一行:
: java.sql.SQLRecoverableException: IO Error:
Unknown host
specified at oracle.jdbc.driver.T4CConnection.logon(T4CConnection.java:743)
您可以使用nslookup
或dig
命令来检查主机名是否被解析:
nslookup hostname
dig hostname
如果您没有得到 IP 作为答案,请更正您的主机名、/etc/hosts
记录或 DNS 记录
所有这些测试和更新都需要在运行代码的主机上运行!
Edit1:如果您无法控制运行代码的主机,您可以:
-
使用主机的 FQDN
使用 IP 地址而不是主机名(非常糟糕的建议,将其用作临时解决方法)
【讨论】:
如何从 aws 运行上述推荐的命令?请帮助 检查我更新的答案。请使用数据库所在的位置和代码运行位置的信息更新您的问题。 如何获取 FQDN ?我无法控制它。我的主机名是这样的:bmc-2uccetdb-scaa.itdglbl.local 您必须从运行代码的主机提供对该主机的完全访问权限。请查看此页面:docs.oracle.com/cd/E11882_01/install.112/e47689/… 看起来主机已经拥有完全访问权限,我们已经从 AWS Lambda 函数访问同一主机。没有问题。我们仅在 AWS Glue 中遇到问题。上述驱动程序是否有任何变化?以上是关于AWS Glue:如何使用 JDBC 连接 oracle db的主要内容,如果未能解决你的问题,请参考以下文章
如何使用带有 PySpark 的 WHERE 子句在 AWS Glue 中查询 JDBC 数据库?