小记--------sqoop的简单从mysql导入到hbase操作

Posted 2021-03-22 于二黑

sqoop import

-D sqoop.hbase.add.row.key=true                        //是否将rowkey相关字段列入列族中，默认为false ；该参数必须在import之后

--connect jdbc:mysql://120.27.208.185/bigdatatest        //连接mysql数据库

--username och_test                                    //mysql用户名

--password 1111111                                    //mysql密码

--table t_teacher                                        //mysql表名

--columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark        //mysql列名

--hbase-table t_teacher                                //hbase中接受数据的表名

--hbase-create-table                                    //如果接收数据的表名不存在则创建新表

--column-family MM                                        //列族名称，所有源表的字段都进入该列族

--hbase-row-key id                                        //如果不指定该参数，则采用源表的key作为rowkey；可以指定一个字段作为rowkey，或者指定多个字段组合成rowkey(需要用双引号包含多个字段，字段之间以逗号分隔)

-m 1                                                    //并发度：1

 

 

eg：

#使用sqoop 将mysql数据库的t_teacher表的前500w行数据导入hbase

sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://120.27.208.185/bigdatatest --username och_test --password 1111111 --query ‘select * from t_teacher WHERE $CONDITIONS limit 5000000;‘ --columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark --hbase-table t_teacher --hbase-create-table --column-family MM --hbase-row-key id -m 1                                                   

 

eg2：

#导入整张表的数据

sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://120.27.208.185/bigdatatest --username och_test --password 1111111 --table t_teacher  --columns id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark --hbase-table t_teacher --hbase-create-table --column-family MM --hbase-row-key id -m 1