Sqoop 如何使用 SSL 加密访问 MySQL

Posted 2023-04-18

【中文标题】Sqoop 如何使用 SSL 加密访问 MySQL

【英文标题】：How could Sqoop use SSL encryption to access MySQL

【发布时间】：2021-10-22 13:33:17

【问题描述】：

目前我们需要使用 Sqoop 建立基于 SSL 的连接，以将数据从 mysql 提取到 HDFS。根据AWS和Sqoop的相关文档，我们完成了以下命令的拼接：

sqoop-import \
--connect "jdbc:mysql://remote-db.amazonaws.com.cn:3306/TSTWOWDB?verifyServerCertificate=false&useSSL=true&requireSSL=true&sslMode=VERIFY_IDENTITY&trustCertificateKeyStoreUrl=/home/etl/ivan/ssl/clientkeystore.jks&trustCertificateKeyStorePassword=xxxxxx" \
--username "TEST_USER" --password "xxxxxx" \
--table "t_wrong_qrcodes" \
--target-dir /tmp/ivan/t_wrong_qrcodes \
-m 1

属性中，'/home/etl/ivan/ssl/clientkeystore.jks'为提交服务器的本地文件路径。

任务启动后报如下错误：Caused by: java.io.FileNotFoundException: /mnt/home/etl/ivan/ssl/clientkeystore.jks (No such file or directory)，好像是因为Sqoop启动了Map-Reduce任务，但是没有这个文件路径'/mnt/home/etl/ivan/ssl/ clientkeystore.jks' 在每个计算节点上。

如何设置准确的属性，是否有操作损失？

Sqoop 版本 - 1.4.7

参考资料：

https://docs.amazonaws.cn/en_us/emr/latest/ReleaseGuide/emr-sqoop-considerations.html https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html Warning about SSL connection when connecting to MySQL database

【参考方案1】：

到目前为止，我们已经解决了它。注意以下三点：

将名为jks 的信任存储文件同步到每个计算节点。如果您使用的是 Aws 或其他云服务，则应将信任存储文件放置到所有节点，如果您使用的是实例队列，则包括任务节点。 属性trustCertificateKeyStoreUrl应该是可以以file:/开头的有效url，例如trustCertificateKeyStoreUrl=file:/home/hadoop/ssl/clientkeystore.jks 将属性useSSL设置为true，否则不会使用SSL加密连接进行转换。