Oracle数据库批量数据导出工具开发

Posted 2020-10-27

Oracle数据库批量数据导出工具开发

需求

最近工作中遇到一个需求，用户频繁要求从后台批量导出大量数据。目前的导出方式是使用PL/SQL Developer工具连接Oracle数据库，编写SQL语句，使用PL/SQL Developer工具自带的导出Excel文件的功能进行导出。

1. 编写SQL查询结果

2.选择导出Excel文件

选择导出Excel文件时可以选择导出XLS、XLSX两种格式的文件。

遇到的问题：
当用户要求导出的数据条数太大，超过XLS或者XLSX两种文件可以存储的最大行数时即导出失败。为解决此问题，特定开发Oracle数据导出工具，用以支持大批量数据的导出工作。

XLS文件最大行数是：65536
XLSX文件的最大行数是：1048576

基本构想

使用任一编程语言连接数据库并执行SQL，将查询结果分别写入Excel文件。

存在两种实现方案：

1. 使用Java语言连接数据库，使用POI库写Excel文件
2. 使用C/C++语言开发桌面程序，使用其他库写Excel文件

选择过程：
考虑到工具会提供公司内部其他同事使用，加之对Java做界面不是很了解，故放弃此方案1，采用方案2。选定使用方案2后，着手选择可使用的库及相关技术。

关于存储文件的选择
直接写Excel文件：写Excel文件时，使用LibXl库，当数据量比较大的时候，会出现存盘失败的情况，此种情况下只能减少写入Excel文件的行数。如果查询结果的字段很多，长度很长的情况下，此种方案可保存的数据条数更少。

写Txt文件：
写Csv文件：
写Txt文件和写Csv文件类似。区别在于写Txt文件的时候，使用"\t"分隔不同的字段，而写Csv格式时，使用","（逗号）进行分隔。
另外，在写Csv和Txt格式的文件时，由于用户可通过Excel打开则如果是数字，并且以0开头的话，需要添加‘号以标识此字段为文本。

其他内容
选择Duilib UI库，没有选择MFC
选择OCILib访问和操作数据库（希望可以专门写一遍笔记记录该库的使用方法）
使用LibXl库写Excel文件

操作流程