linux下用sqoop导入mysql有个表最多只能导入10580条记录，怎么改才能让它放多点

Posted 2023-05-06

我的环境是centos6.2 64bit
mysql版本是5.1.69

我用的是sqoop工具导入格式化的数据，导入的数据没问题，就是只能导入10580条。
我把数据分割成每个文件10000行，分别导入，结果第一个文件全部导入，第二个就只能导入580条数据。

不知道是sqoop的原因还是mysql的原因。
请各位帮帮忙，很急。
这个表只有3列，都是整数型或者double型的数据。
同个数据库中有另外一个表能放7万多条数据。

参考技术A mysql好像单表数据是有限制的，只能存放4G的数据一张表，会不会是这个原因...还是说你在导入的时候有什么错误信息日志追问

那个表现在才几百k吧。
表中有10580条数据之后，我手动可以插入数据记录，就是用sqoop不可以。
没有错误信息。

参考技术B 可以和我讨论mysql数据库的，你现在能手动插入数据记录吗？不能导入的时候有什么提示呢？追问

表中有10580条数据之后，我手动可以插入数据记录，就是用sqoop不可以。
没有错误信息。

追答

你检查下是不是你定义的主键重复了？我曾遇到过这样的情况

追问

原来文件中只有10580条记录。。。。。。。
因为用基于云计算导入的，所以不是按顺序的，我看到表结尾的数据跟文件中不一样以为只插入了一部分。
anyway，还是谢谢你们了。

本回答被提问者采纳

linux中sqoop部署以及实现mysql数据导入hive

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

下面我们进一步了解Sqoop安装部署过程，以及如何从Mysql数据库导入数据到hive。
一.前期准备
1.1 Hadoop

版本：Hadoop 2.6.5

安装：Hadoop集群安装和部署详解
1.2 Mysql

版本：5.6.33 MySQL Community Server (GPL)
1.3 Mysql驱动包

版本：mysql-connector-java-5.1.40-bin.jar
1.4 Hive

版本：apache-hive-2.1.1-bin

安装：《Hive安装和部署详解》
1.5 Sqoop安装包

版本：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
二.Sqoop安装部署
2.1 Sqoop部署

#定位
cd /opt/software
#解压
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
#复制sqoop到/usr/local/sqoop
cp -r sqoop-1.4.6.bin__hadoop-2.0.4-alpha /usr/local/sqoop

2.2 Mysql驱动包

把1.3中的mysql驱动包放置到$SQOOP_HOME\\lib目录

三.Sqoop配置
3.1 Sqoop环境变量配置

vi /etc/profile
#sqoop
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
#重新编译profile
source /etc/profile

3.2 sqoop-env.sh配置

#定位
cd /usr/local/sqoop/conf
#创建sqoop-env.sh文件
cp -r sqoop-env-template.sh sqoop-env.sh
#配置sqoop-env.sh
vi sqoop-env.sh
---------------------------------------------------------------
# Set Hadoop-specific environment variables here.

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/local/hadoop

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/hadoop

#set the path to where bin/hbase is available
#export HBASE_HOME=

#Set the path to where bin/hive is available
export HIVE_HOME=/usr/local/hive

#Set the path for where zookeper config dir is

注意:根据实际路径配置HADOOP_COMMON_HOME，HADOOP_MAPRED_HOME，HIVE_HOME
3.3 sqoop-site.xml配置

#创建sqoop-site.xml
cp -r sqoop-site-template.xml sqoop-site.xml

 

四.Mysql数据导入Hive
4.1 启动dfs+yarn

#定位
cd /usr/local/hadoop
#启动dfs+hive
sbin/start-all.sh

4.2 测试Sqoop
sqoop help
Available commands:
codegen Generate code to interact with database records
create-hive-table Import a table definition into Hive
eval Evaluate a SQL statement and display the results
export Export an HDFS directory to a database table
help List available commands
import Import a table from a database to HDFS
import-all-tables Import tables from a database to HDFS
import-mainframe Import datasets from a mainframe server to HDFS
job Work with saved jobs
list-databases List available databases on a server
list-tables List available tables in a database
merge Merge results of incremental imports
metastore Run a standalone Sqoop metastore
version Display version information

 

4.3 Mysql数据导入Hive测试
4.3.1 Mysql数据库新建表

新建表T_USER，并插入测试数据

4.3.2 Hive中新建表，并制定存放HDFS目录

create table IF NOT EXISTS T_USER
(
id BIGINT COMMENT \'id\',
name STRING COMMENT \'name\',
password STRING COMMENT \'password\'

) COMMENT \'T_USER\'
ROW format delimited fields terminated BY \'\\001\' LOCATION \'/usr/hive/warehouse/hivetest.t_user\';

4.3.3 Sqoop中查看Mysql数据库

sqoop list-databases --connect jdbc:mysql://192.168.32.128:3306/ --username root --password root

4.3.4 Sqoop中查看Mysql数据库表

sqoop list-tables --connect jdbc:mysql://192.168.32.128:3306/hive --username root --password root

4.3.5 Sqoop导入Mysql数据到Hive

sqoop import -m 1 --connect jdbc:mysql://192.168.32.128:3306/hive --username root --password root --table t_user --hive-import --hive-overwrite --hive-table hivetest.t_user --hive-drop-import-delims

4.3.6 查看Mysql导入的数据
4.3.6.1 hive中查看

 

对比：与Mysql中表T_USER数据一致。
4.3.6.2 hadoop中查看

至此，以上为本文所有内容。

————————————————
版权声明：本文为CSDN博主「IT狗探求」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/a123demi/article/details/72742553