dmfldr大字段数据装载

Posted yangeoooo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了dmfldr大字段数据装载相关的知识,希望对你有一定的参考价值。

dmfldr支持对DM数据库的大字段类型数据的载入和导出,支持的大字段数据类型包括TEXT、LONGVARCHAR、IMAGE、LONGVARBINARY、BLOB以及CLOB。
01

大字段数据导出

当dmfldr工作在导出模式(MODE为OUT)时,生成大字段对应的数据文件名由LOB_FILE_NAME指定,若未指定默认为dmfldr.lob,文件存放目录由LOB_DIRECTORY指定,如果未指定则存放于导出数据文件同一目录。
现将T_TESTLOB表数据导出到文
(1)创建测试表和插入数据
创建T_TESTLOB表,字段ID为自增列,插入测试数据,表结构参考如下:

create table t_testlob (
    id      int identity,
    name    varchar(20),
    info1   blob,  
    info2   clob
);
insert into t_testlob (name, info1, info2)
values('张学名', 0xabcdef001, '武汉市东湖高新区未来科技城');
insert into t_testlob (name, info1, info2)
values('陈无良', 0xdfdfd234, '江苏省南京市雨花台区花神大道');
insert into t_testlob (name, info1, info2)
values('马梁', 0xfadaaf123, '上海市浦东新区上海市张江高科技园区');
insert into t_testlob (name, info1, info2)
values('李梅', 0xab121032def, '北京市海淀区中关村南大街');
insert into t_testlob (name, info1, info2)
values('程一航', 0xdadde110, '四川省成都市高新区天顺北街');
commit;

select * from t_testlob;

LINEID     NAME  TYPE$       NULLABLE
---------- ----- ----------- --------
1          ID    INTEGER     N
2          NAME  VARCHAR(20) Y
3          INFO1 BLOB        Y
4          INFO2 TEXT        Y

(2)编写控制文件
编辑控制文件/dm8/backup/dmfldr/testlob.ctrl,数据导出至/dm8/backup/dmfldr/testlob.txt文件中,控制文件内容参考如下:

LOAD DATA
INFILE '*'
INTO TABLE t_testlob
FIELDS '|'
(
ID,
NAME,
INFO1,
INFO2
)

(3)执行导出命令
使用dmfldr命令导出数据,执行命令参考如下(注意用户名区分大小写):

/home/dmdba/dmdbms2/bin/dmfldr userid=SYSDBA/SYSDBA@192.168.17.79:5236 control=\\'/dm8/backup/dmfldr/testlob.ctrl\\' data=\\'/dm8/backup/dmfldr/testlob.txt\\' mode=\\'out\\' lob_directory=\\'/dm8/backup/dmfldr\\'lob_file_name=\\'testlob.lob\\'
dmfldr V8
5 rows is load out
Load finish 5 rows, 
time:159.805(ms)

(4)查看导出结果
在/dm8/backup/dmfldr/目录下生成testlob.txt和testlob.lob两个文件,执行目录生成导出日志文件。testlob.lob无法直接打开,testlob.txt内容展示如下。

[dmdba@ora79 ~]$ cat /dm8/backup/dmfldr/testlob.txt
1|estlob.lob:0:5|testlob.lob:5:26
2|estlob.lob:31:4|testlob.lob:35:28
3||testlob.lob:63:5|testlob.lob:68:34
4||testlob.lob:102:6|testlob.lob:108:24
5|estlob.lob:132:4|testlob.lob:136:26

02大字段数据载入

场景一:DIRECT为TRUE

当载入的大字段数据在单独的数据文件中存放时(比如上述导出的大字段数据文件),需指定DIRECT=TRUE方式导入。

非数据库服务器上导入时,指定CLIENT_LOB为TRUE,LOB_DIRECTORY指定为大字段数据文件所在的客户端本地目录;数据库服务器上导入时,则指定CLIENT_LOB为FALSE,LOB_DIRECTORY指定为大字段数据文件所在服务器目录(需先把大字段文件传送到DM服务器)。

大字段数据文件在数据文件中指定,以“文件名:起始偏移:长度”的形式记录在数据文件中。

使用如下命令将上述导出的数据文件testlob.txt和testlob.lob导入到服务器192.168.88.102的T_TESTLOB表中(T_TESTLOB表提前创建):

dmfldr userid=SYSDBA/dameng123@192.168.88.102:5236 
control=\\'/dm8/backup/dmfldr/testlob.ctrl\\' 
data=\\'/dm8/backup/dmfldr/testlob.txt\\' mode=\\'in\\' 
lob_file_name=\\'testlob.lob\\' client_lob=true 
lob_directory=\\'/dm8/backup/dmfldr\\' direct=true set_identity=false

场景二:DIRECT为FALSE
当大字段列数据保存在数据文件中时,需指定DIRECT=FALSE方式导入。BLOB_TYPE参数指定BLOB列内容类型(包含HEX_CHAR和HEX,默认为HEX_CHAR十六进制)。

编辑数据文件testlobdata.txt,内容参考如下:


dmfldr userid=SYSDBA/dameng123@192.168.88.102:5236 
control='d:/test/testlob.ctrl' 
data='d:/test/testlobdata.txt' mode='in' 
direct=false blob_type='hex'

以上是关于dmfldr大字段数据装载的主要内容,如果未能解决你的问题,请参考以下文章

dmfldr 使用手册

大数据发展局薛海霞一行深入高新区调研

大数据+大健康!两江新区启动这个项目

大数据+!这个“博士后”项目落地西部(重庆)科学城

鹏博士大数据廊坊云计算数据中心奠基仪式在安次高新技术产业园顺利举行

山信软件大数据公司2020年社招公告