SQL Server批量数据导出导入BCP使用

Posted 2020-07-31 jeffery1010

BCP简介

bcp是SQL Server中负责导入导出数据的一个命令行工具，它是基于DB-Library的，并且能以并行的方式高效地导入导出大批量的数据。bcp可以将数据库的表或视图直接导出，也能通过SELECT FROM语句对表或视图进行过滤后导出。在导入导出数据时，可以使用默认值或是使用一个格式文件将文件中的数据导入到数据库或将数据库中的数据导出到文件中

BCP执行方式

1. bcp通过控制台命令行执行
2. 通过调用SQL Server的一个系统存储过程xp_cmdshell以SQL语句的方式运行

*注：通过xp_cmdshell方式，需要启用xp_cmdshell

EXEC sp_configure ‘show advanced options‘, 1
GO
RECONFIGURE
GO
EXEC sp_configure ‘xp_cmdshell‘, 1
GO
RECONFIGURE
GO

BCP的参数说明

bcp共有四个动作可以选择。
(1) 导入。
这个动作使用in命令完成，后面跟需要导入的文件名。
(2) 导出。
这个动作使用out命令完成，后面跟需要导出的文件名。
(3) 使用SQL语句导出。
这个动作使用queryout命令完成，它跟out类似，只是数据源不是表或视图名，而是SQL语句。
(4) 导出格式文件。
这个动作使用format命令完成，后而跟格式文件名。
下面介绍一些常用的选项：
-f format_file
format_file表示格式文件名。这个选项依赖于上述的动作，如果使用的是in或out，format_file表示已经存在的格式文件，如果使用的是format则表示是要生成的格式文件。
-x
这个选项要和-f format_file配合使用，以便生成xml格式的格式文件。
-F first_row
指定从被导出表的哪一行导出，或从被导入文件的哪一行导入。
-L last_row
指定被导出表要导到哪一行结束，或从被导入文件导数据时，导到哪一行结束。
-c
使用char类型做为存储类型，没有前缀且以"\t"做为字段分割符，以"\n"做为行分割符。
-w
和-c类似，只是当使用Unicode字符集拷贝数据时使用，且以nchar做为存储类型。
-t field_term
指定字符分割符，默认是"\t"。
-r row_term
指定行分割符，默认是"\n"。
-S server_name[ \instance_name]
指定要连接的SQL Server服务器的实例，如果未指定此选项，bcp连接本机的SQL Server默认实例。如果要连接某台机器上的默认实例，只需要指定机器名即可。
-U login_id
指定连接SQL Sever的用户名。
-P password
指定连接SQL Server的用户名密码。
-T
指定bcp使用信任连接登录SQL Server。如果未指定-T，必须指定-U和-P。
-k
指定空列使用null值插入，而不是这列的默认值。

**命令格式: bcp {dbtable | query} {in | out | queryout | format} 数据文件

[-m 最大错误数] [-f 格式化文件] [-e 错误文件]
[-F 首行] [-L 末行] [-b 批大小]
[-n 本机类型] [-c 字符类型] [-w 宽字符类型]
[-N 将非文本保持为本机类型] [-V 文件格式版本] [-q 带引号的标识符]
[-C 代码页说明符] [-t 字段终止符] [-r 行终止符]
[-i 输入文件] [-o 输出文件] [-a 数据包大小]
[-S 服务器名称] [-U 用户名] [-P 密码]
[-T 可信连接] [-v 版本] [-R 允许使用区域设置]
[-k 保留空值] [-E 保留标识值]
[-h"加载提示"] [-x 生成xml 格式化文件]

使用bcp导出数据

1. 使用bcp导出整个表或视图。

     --命令行执行使用密码连接

bcp OEDB.dbo.kqdata out c:\a.txt -c -S"XXX.XXX.XXX.XXX" -U"sa" -P"password" 

bcp OEDB.dbo.kqdata out c:\A.txt -c -S"XXX.XXX.XXX.XXX" -T --使用信任连接

--sql语句方式执行

EXEC master..xp_cmdshell ‘bcp oedb.dbo.kqdata out c:\a.txt -c  -U"sa" -P"password"‘

2. 对导出过滤后的结果数据

EXEC master..xp_cmdshell ‘bcp "SELECT TOP 1000 * FROM oedb.dbo.kqdata where kqdata<‘2016-01-01‘" queryout c:\a.txt -c  -U"sa" -P"password"‘

--取第10条到13条记录进行导出

EXEC master..xp_cmdshell ‘bcp "SELECT TOP 20 * FROM oedb.dbo.kqdata" queryout c:\a.txt -F 10 -L 13 -c -U"sa" -P"password"‘

--导出成csv
Exec master..xp_cmdshell ‘bcp "oedb.dbo.kqdata" out "c:\a.csv" -c -t"," -r"\n" -T‘

3.使用bcp导出格式文件

bcp不仅可以根据表、视图导入导出数据，还可以配合格式文件对导入导出数据进行限制。格式文件以纯文本文件形式存在，分为一般格式和xml格式。用户可以手工编写格式文件，也可以通过bcp命令根据表、视图自动生成格式文件

EXEC master..xp_cmdshell ‘bcp oedb.dbo.kqdata format nul -f c:\a_format.fmt -c -T‘

--上述命令将kqdata表的结构生成了一个格式文件a_format.fmt

bcp还可以通过-x选项生成xml格式的格式文件。
EXEC master..xp_cmdshell ‘bcp oedb.dbo.kqdata format nul -f c:\a_format2.fmt -x -c -T‘
xml格式文件所描述的内容和普通格式文件所描述的内容完全一样，只是格式不同

4.使用bcp导入数据

bcp可以通过in命令将上面所导出的a.txt再重新导入到数据库中
将数据导入到kqdata表中
EXEC master..xp_cmdshell ‘bcp ohr.dbo.kqdata in c:\a.txt -c -T‘
导入数据也同样可以使用-F和-L选项来选择导入数据的记录行。
EXEC master..xp_cmdshell ‘bcp ohr.dbo.kqdata in c:\a.txt -c -F 10 -L 13 -T‘
在导入数据时可以根据已经存在的格式文件将满足条件的记录导入到数据库中，不满足则不导入。
使用普通的格式文件
EXEC master..xp_cmdshell ‘bcp ohr.dbo.kqdata in c:\a.txt -F 10 -L 13 -c -f c:\a_format.fmt -T‘
使用xml格式的格式文件
EXEC master..xp_cmdshell ‘bcp ohr.dbo.kqdata in c:\a.txt -F 10 -L 13 -c -x -f c:\a_format2.fmt -T‘

导入csv格式文件
Exec master..xp_cmdshell ‘bcp "ohr.dbo.kqdata" in "c:\a.csv" -c -t"," -r"\n" -T‘