OGG-简单了解

Posted 2020-11-22 yangjn

一.Introduction to Oracle GoldenGate 简介
（一）Oracle GoldenGate
　　Oracle GoldenGate支持在事务级别跨多个异构平台之间交换和操作数据。

　　它的模块化体系结构使您能够灵活地提取和复制选定的数据记录、事务更改以及DDL的更改。

　　通过这种灵活性，以及Oracle GoldenGate的过滤、转换和自定义处理特性，您可以支持许多业务需求:

　　●业务连续性和高可用性。
　　●初始加载和数据库迁移。
　　●数据集成。
　　●决策支持和数据仓库。

　　支持在源和目标不同字符集之间的转换，且目标字符集和客户端必须是源字符集的超集或者等价字符集。

（二）Oracle GoldenGate组成组件
　　1. Extract（提取）
　　初始化数据：直接从源对象中提取当前数据集。变更同步：inserts, updates, and deletes， DDL changes and sequences。

　　提取数据通过数据库恢复日志或者事务日志，具体依靠什么还要看数据库类型，还支持第三方捕获。
　　2. Data pump（数据泵）
　　第二中提取方式，防止网络和目标故障对作业影响，可分阶段，多个源到一个目标，一个源到多个目标。可进行山筛选 TABLE。
　　3. Replicat（复制）
　　分为初始化数据和变更同步，可以将多个复制进程与多个提取进程并行使用，以增加吞吐量。使用本地数据库接口或ODBC.可进行转换 MAP。
　　4.Trails or extract files（跟踪和提取文件）
　　将捕捉到的更改临时存储在磁盘上的一系列文件中，跟踪可以存在于源或目标系统上，也可以存在于中介系统上，这取决于您如何配置Oracle GoldenGate。

　　跟踪的使用还允许提取和复制活动彼此独立地进行。只有一个提取进程可以写入跟踪。跟踪文件由数据泵和复制进程读取。

　　跟踪文件默认10M大小。默认情况下，跟踪文件存储在Oracle GoldenGate的dirdat子目录中。当处理一次运行时，生成提取文件，不生成跟踪文件。
　　5.Checkpoints（检查点）
　　检查点将进程的当前读和写位置存储到磁盘，以便进行恢复。

　　这些检查点确保标记为同步的数据更改实际上是由Extract提取并且Replicat复制的，它们可以防止冗余处理。

　　支持系统、网络、进程重启的。对于复杂的同步配置，检查点允许多个提取或复制进程从同一组轨迹读取数据。

　　检查点信息保存在Oracle GoldenGate目录下dirchk子目录下的检查点文件中。
　　CSN提交序列号，用于标识事务，维护一致性和数据完整性。唯一标识事务提交到数据库的时间点。
　　6.Manager（进程控制）
　　监视并重启Oracle GoldenGate进程。问题阈值报告，例如当吞吐量降低或同步延迟增加时。维护跟踪文件和日志。

　　分配数据存储空间。报告错误和事件。接收和路由来自用户界面的请求。源端和目标端系统或者用到的中间系统都需要运行管理进程。
　　7.Collector（收集器）
　　目标系统后台进程。Collector接收经过TCP/IP网络发送的提取的数据库更改，并将它们写入一个跟踪或提取文件。

　　通常，当需要网络连接时，Manager会自动启动收集器。当Manager启动Collector时，该进程称为动态收集器，Oracle GoldenGate用户通常不与它交互。

　　但是，您可以手动运行Collector。这就是所谓的静态收集器。并非所有Oracle GoldenGate配置都使用收集器进程。
　　进程分组：
　　为了区分多个捕获和复制进程，可以定义进程组，例如对不同数据集并行操作时可以划分组来进行辨别。

　　增加组的方式是在GGSCI命令行中ADD EXTRACT和ADD REPLICAT命令。一个进程组包含进程，参数文件，检查点文件等。
　　进程状态包括STOPPED（正常停止）、STARTING （正在启动）、RUNNING （正在运行）、ABENDED （Abnomal End 的缩写，表示异常结束）。