小记--------sqoop的简单从mysql导入到hbase操作

Posted 于二黑

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了小记--------sqoop的简单从mysql导入到hbase操作相关的知识,希望对你有一定的参考价值。

sqoop import
-D sqoop.hbase.add.row.key=true                        //是否将rowkey相关字段列入列族中,默认为false ;该参数必须在import之后
--connect jdbc:mysql://120.27.208.185/bigdatatest        //连接mysql数据库
--username och_test                                    //mysql用户名
--password 1111111                                    //mysql密码
--table t_teacher                                        //mysql表名
--columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark        //mysql列名
--hbase-table t_teacher                                //hbase中接受数据的表名
--hbase-create-table                                    //如果接收数据的表名不存在则创建新表
--column-family MM                                        //列族名称,所有源表的字段都进入该列族
--hbase-row-key id                                        //如果不指定该参数,则采用源表的key作为rowkey;可以指定一个字段作为rowkey,或者指定多个字段组合成rowkey(需要用双引号包含多个字段,字段之间以逗号分隔)
-m 1                                                    //并发度:1
 
 
eg:
#使用sqoop 将mysql数据库的t_teacher表的前500w行数据导入hbase
sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://120.27.208.185/bigdatatest --username och_test --password 1111111 --query ‘select * from t_teacher WHERE $CONDITIONS limit 5000000;‘ --columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark --hbase-table t_teacher --hbase-create-table --column-family MM --hbase-row-key id -m 1                                                   
 
eg2:
#导入整张表的数据
sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://120.27.208.185/bigdatatest --username och_test --password 1111111 --table t_teacher  --columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark --hbase-table t_teacher --hbase-create-table --column-family MM --hbase-row-key id -m 1
 

以上是关于小记--------sqoop的简单从mysql导入到hbase操作的主要内容,如果未能解决你的问题,请参考以下文章

sqoop从oracle导数据后是空表

sqoop用法之mysql与hive数据导入导出#yyds干货盘点#

Sqoop从入门到实战

Sqoop从入门到实战

教程 | 使用Sqoop从MySQL导入数据到Hive和HBase

Sqoop