怎么用spark 将mysql数据导入 hive

Posted 2023-05-01

参考技术A mysql命令行导出数据库： 1，进入MySQL目录下的bin文件夹：cd MySQL中到bin文件夹的目录 如我输入的命令行：cd C:\Program Files\MySQL\MySQL Server 4.1\bin (或者直接将windows的环境变量path中添加该目录) 2，导出数据库：mysqldump -u 用户...本回答被提问者采纳

sqoop1.9 怎么导入数据

参考技术A

1. 将mysql中的数据导入到hive中

sqoop import --connect jdbc:mysql://localhost:3306/sqoop --direct --username root --password 123456 --table tb1 --hive-table tb1 --hive-import -m 1
其中--table tb1是mysql sqoop数据库中的一张表，--hive-table tb1是导入到hive中该表的名字，不需要事先建表。

2. 将hive中的数据导入到mysql中

sqoop export --connect jdbc:mysql://localhost:3306/sqoop --username root --password 123456 --direct --table t4 --export-dir /user/hive/warehouse/tb1/part-m-00000 --input-fields-terminated-by '\\001'
--table t4是导入到mysql中表的名字，需要事先建表

3. 将mysql中的数据导入到hdfs中

sqoop import --connect jdbc:mysql://localhost:3306/sqoop --direct --username root --password 123456 --table tb1 -m 1

4. 将hdfs中的数据导入到mysql中

sqoop export --connect jdbc:mysql://localhost:3306/sqoop --direct --table tb1 --username root --password 123456 --export-dir hdfs://localhost:9000/user/Hadoop/tb1/part-m-00000 -m 1
同样需先在mysql中建立tb1表