用于验证数据库和 sqoop 之间的网络连接的 shell 脚本

Posted

技术标签:

【中文标题】用于验证数据库和 sqoop 之间的网络连接的 shell 脚本【英文标题】:shell script to validate the network connection between database and sqoop 【发布时间】:2018-04-05 04:29:21 【问题描述】:

我需要一个 shell 脚本来帮助验证数据库和 sqoop 之间的网络连接。在 sqoop 发生之前,我需要验证此连接。

即如果连接正常,我们可以继续进行 sqoop 导入/导出,否则我们需要触发一封邮件,说明数据库连接丢失。

请推荐。

【问题讨论】:

请edit您的问题显示the code you have so far。您应该至少包含您遇到问题的代码的大纲(但最好是minimal reproducible example),然后我们可以尝试帮助解决具体问题。您还应该阅读How to Ask。 【参考方案1】:

您可以使用sqoop-list-tablessqoop-list-databases 工具。 例如,使用您希望看到的表/数据库的名称检查这些命令的输出:

is_connected=$(sqoop list-tables --connect <connect> | grep -q employees | wc -l)
if [ "$is_connected" -ne "0" ]; then
    # send error mail
else
    # sqoop import
fi

【讨论】:

以上是关于用于验证数据库和 sqoop 之间的网络连接的 shell 脚本的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop学习笔记—18.Sqoop框架学习

sqoop的简易介绍

sqoop--数据库和hdfs之间的搬运工

SqoopFlumeFlumeHDFS之间比较

Sqoop

sqoop1与sqoop2