ETL - 自动从一个数据库到另一个数据库的数据传输

Posted 2021-05-04

我精通数据以及如何移动和操作数据，但是我现在使用5到6年的过程大多是手动的。虽然有大量的宏，查询，函数和其他方法经过预编码以帮助将数据移动和操作到我的Oracle数据库中，但除非有个人能够实现，否则整个过程都无法完成。

我的问题是要求了解有关如何自动化将数据从一个系统移动到另一个系统的过程的许多方法。我很肯定这可以通过一个系统中的文件丢弃来完成，然后由另一个系统获取文件。或者，也许一个系统可以利用其他系统API，只需将数据拉出并将其导入自身。另一种选择是将数据推出并让源系统通过它的API访问目标系统。我几乎没有自动化数据传输的经验，只需要一些方向。这些大小公司如何实现数据传输的自动化？我有什么选择？

虽然我正在寻找广义的答案，但我的情况特定于将数据移出Oracle并进入JSON格式的Arango NoSQL数据库。

答案

这是我们如何做到的;我们有客户支付我们在不同银行的服务。这些银行中的每一家都提供包含前一天付款的TXT文件;这些文件位于目录（文件夹）中。

操作系统预定作业（在MS Windows上，即任务计划程序）每隔几分钟运行一次，并检查该目录中是否有新文件。

如果是这样，它运行一个（MS DOS）批处理脚本，该脚本调用Oracle SQL * Loader实用程序。然后，它将数据加载到Oracle表中，并将TXT文件复制到归档目录中。

不完全是火箭科学，但是 - 现在已经工作多年了。

我相信别人会有不同的例子和建议。