怎么将本地的.sql文件导入hadoop master

Posted 2023-04-10

参考技术A 完成sqoop的安装后，可以这样测试是否可以连接到mysql(注意：mysql的jar包要放到 SQOOP_HOME/lib 下)：

sqoop list-databases --connect jdbc:mysql://192.168.1.109:3306/ --username root --password 19891231

结果如下

即说明sqoop已经可以正常使用了。

下面，要将mysql中的数据导入到hadoop中。

我准备的是一个300万条数据的身份证数据表：

先启动hive（使用命令行：hive 即可启动）

然后使用sqoop导入数据到hive：

sqoop import --connect jdbc:mysql://192.168.1.109:3306/hadoop --username root --password 19891231 --table test_sfz --hive-import

sqoop 会启动job来完成导入工作。

完成导入用了2分20秒，还是不错的。

在hive中可以看到刚刚导入的数据表：

我们来一句sql测试一下数据：

select * from test_sfz where id < 10;

可以看到，hive完成这个任务用了将近25秒，确实是挺慢的（在mysql中几乎是不费时间），但是要考虑到hive是创建了job在hadoop中跑，时间当然多。

接下来，我们会对这些数据进行复杂查询的测试：

我机子的配置如下：

hadoop 是运行在虚拟机上的伪分布式，虚拟机OS是ubuntu12.04 64位，配置如下：

TEST 1 计算平均年龄

测试数据：300.8 W

1. 计算广东的平均年龄

mysql：select (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz where address like '广东%';

用时： 0.877s

hive：select (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz where address like '广东%';

用时：25.012s

2. 对每个城市的的平均年龄进行从高到低的排序

mysql：select
address, (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge
from test_sfz GROUP BY address order by ageAvge desc;

用时：2.949s

hive：select
address, (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as
ageAvge from test_sfz GROUP BY address order by ageAvge desc;

用时：51.29s

可以看到，在耗时上面，hive的增长速度较mysql慢。

TEST 2

测试数据：1200W

mysql 引擎： MyISAM（为了加快查询速度）

导入到hive：

1. 计算广东的平均年龄

mysql：select (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz2 where address like '广东%';

用时： 5.642s

hive：select (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz2 where address like '广东%';

用时：168.259s

2. 对每个城市的的平均年龄进行从高到低的排序

mysql：select
address, (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge
from test_sfz2 GROUP BY address order by ageAvge desc;

用时：11.964s

hive：select
address, (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as
ageAvge from test_sfz2 GROUP BY address order by ageAvge desc;

用时：311.714s

sqlserver把远程数据库的数据导入到本地数据库的sql语句怎么写

而且需要改表名的，比如远程数据库有个表是user，那么到本地后的表名是user_copy

参考技术A 你的本地要建立和远程的连接，比如远程数据库叫DB1
在本地查询分析器直接写就可以
USER_COPY不需要创建，直接用下边的语法创建加复制数据
SELECT * INTO USER_COPY FROM DB1..USER追问

图片上面的TestServer1是本地数据库，下面的TestServer1是远程数据库，你那样写可以吗

追答

不能这么写，不好意思我刚才的语句有点问题，只能支持一个服务器上不同数据库之间的操作。
用SQLSERVER提供的导入导出工具来做吧。
先在本地按照远程TESTSERVER1的结构创建一个USER_COPY表
然后使用导入导出工具，把远程数据库USER表的数据导入到你新建的USER_COPY中

追问

呵呵，我想用sql语句来做

参考技术B insert inot user
select * from opendatasource('sqloledb','server=192.168.0.1;uid=sa;pwd=dbpasswords;database=dbname').dbname.dbo.user_copy本回答被提问者采纳 参考技术C 建立一个链接服务器,如起名db1
SELECT * INTO USER_COPY FROM DB1.dbo.USER 参考技术D 学习了，SELECT * INTO USER_COPY FROM DB1..USER 比较好