关于小工具对数据库进行分页查询

Posted 2020-11-14 fxust

需求：关于第三方数据库的数据抽取，数据每2个小时会有增量数据。

要求：每天凌晨12:05对T-1日数据进行统一处理。

于是利用1周时间开发了个小工具，主要对接第三方oracle，pg，mysql数据库的数据。

采用技术：

1.多线程，线程池

2.jdbc，连接池

3.数据库分页

遇到问题

1.Javaswing页面设计难度大

解决方案：采用成熟的eclipse插件WindowBuilder

2.分页过程中，不断有新数据插入则会影响数据丢失或重复抽取

解决方案：order by或temp表

3.数据库连接断开后的重连机制

解决方案：定时工具重试三次，手动批量工具不断重试直到获取connection