关于小工具对数据库进行分页查询

需求:关于第三方数据库的数据抽取,数据每2个小时会有增量数据。mysql

要求:天天凌晨12:05对T-1日数据进行统一处理。sql

因而利用1周时间开发了个小工具,主要对接第三方oracle,pg,mysql数据库的数据。数据库

采用技术:多线程

1.多线程,线程池oracle

2.jdbc,链接池eclipse

3.数据库分页工具

遇到问题ui

1.Javaswing页面设计难度大插件

解决方案:采用成熟的eclipse插件WindowBuilder线程

2.分页过程当中,不断有新数据插入则会影响数据丢失或重复抽取

解决方案:order by或temp表

3.数据库链接断开后的重连机制

解决方案:定时工具重试三次,手动批量工具不断重试直到获取connection

相关文章
相关标签/搜索