Oracle GoldenGate 技术培训
OracleGoldenGate技术培训 甲骨文 中国 软件系统有限公司杨永波资深技术顾问 GoldenGate培训课程简介 从GoldenGate入门基础入手 逐步介绍GoldenGate产品功能 产品优势 适用的业务场景 详细讲解GoldenGate的工作原理 详细讲解GoldenGate容灾解决方案 从初始准备至容灾完成的详细步骤 设计考虑点等 介绍GoldenGate在容灾方面的典型案例 课程结束后 培训对象可以掌握GoldenGate产品基本技能 工作原理及容灾实现过程 目录 GoldenGate产品介绍GoldenGate工作原理GoldenGate系统要求GoldenGate容灾实现方案GoldenGate容灾成功案例讨论和总结 目录 GoldenGate产品介绍1 1GoldenGate技术特性和核心价值1 2GoldenGate部署架构1 3GoldenGate应用场景GoldenGate工作原理GoldenGate系统要求GoldenGate容灾实现方案GoldenGate容灾成功案例讨论和总结 GoldenGate历史简介 创建于1995年 总部设在美国旧金山 致力于数据复制领域的专业公司 全球超过4 000个安装许可 分布在政府 银行 制造 传媒 电信 证券 医疗和零售等各大行业 其中有多个全球财富500强企业 与Oracle IBM HP Microsoft Sybase Teradata等著名企业建立了紧密合作关系 2009年7月Oracle收购GoldenGate公司 GoldenGate成为Oracle公司在数据复制领域的旗舰产品 什么是OracleGoldenGate OracleGoldenGate软件是一种基于log 日志 的结构化数据复制软件 它通过解析源数据库在线log或归档log获得数据的增 删 改变化 再将这些变化应用到目标数据库 实现源数据库与目标数据库同步 双活 OracleGoldenGate软件可以在异构的IT基础结构 包括几乎所有常用操作系统平台和数据库平台 之间实现大量数据亚秒级的实时复制 GoldenGate第三方评测报告 Source GartnerCriticalCapabilitiesforDataIntegrationTools CommonDataDeliveryStyles Dec2010 showingtop7of11vendorsinchartabove OracleGoldenGateGartner5 0outof5 0ClearlytheIndustryLeaderinDataReplicationandSynchronization 亚秒级延迟对源端数据源影响最小 能够以低资源消耗完成每秒数千交易的复制 开放架构支持多种异构源和复制目标数据集成架构敏捷快速扩展 以事务为单位 完全保证交易完整性 一致性中断后快速恢复保证数据连续可用 GoldenGate技术特性 GoldenGate技术特性 续 支持多种异构环境 GoldenGate核心价值 低资源消耗 实时数据集成 基于交易完整性的实时数据灾备及数据复制 目录 GoldenGate产品介绍1 1GoldenGate技术特性和核心价值1 2GoldenGate部署架构1 3GoldenGate应用场景GoldenGate工作原理GoldenGate系统要求GoldenGate容灾实现方案GoldenGate容灾成功案例讨论和总结 GoldenGate灵活的部署架构 单向复制 查询负载分离 生产机 查询机 零宕机数据移植 灾备 双向复制 高级灾备 HotStandby 双业务中心 Active Active 点对点 PeertoPeer 负载均衡 多业务中心 广播 数据下发 数据整合 数据仓库 BPM BAM CEP 数据发布 基于消息发布 目录 GoldenGate产品介绍1 1GoldenGate技术特性和核心价值1 2GoldenGate部署架构1 3GoldenGate应用场景GoldenGate工作原理GoldenGate系统要求GoldenGate容灾实现方案GoldenGate容灾成功案例讨论和总结 GoldenGate应用场景 高可用性与容灾容灾与应急备份消除计划内停机双业务中心 实时数据集成数据仓库实时供给实时报表 GoldenGate应用场景 容灾与应急备份 实现 快速恢复和切换最小化数据损失重新同步主备两端数据 用途 在非计划性停机时保持业务连续 OracleGoldenGate用于数据容灾OracleGoldenGate两端系统双活的结构OracleGoldenGate架构非常灵活OracleGoldenGate容灾方案属于基于逻辑的数据容灾OracleGoldenGate对操作系统没有特定的要求OracleGoldenGate对数据库版本没有特定的要求OracleGoldenGate能容忍苛刻的网络环境OracleGoldenGate不存在逻辑坏块 GoldenGate应用场景 容灾与应急备份 GoldenGate应用场景 高可用性 减少计划内停机 实现 保障业务零或者近似零停机滚动升级降低业务中断带来的损失 用途 保障系统 应用 数据库在升级 移植和维护期间业务的可用性 GoldenGate应用场景 高可用性 双业务中心 Active Active 实现 负载均衡 提高系统整体性能连续可用 快速的容灾接管冲突检测和处理 GoldenGate应用场景 Active ActiveforContinuousAvailability是灾备建设的一种趋势 最大化利用灾备中心的IT设施加倍的计算能力 双中心同时进行业务处理 提升系统整体性能双中心负载均衡改善地域分布 提高系统及网络响应 可以利用就近的原则 采用最快的网络连接 提升操作效能及响应速度 持续的IT服务异地部署 没有距离限制快速接管 RTO 0 其中任何一个出现故障 不影响系统运行 无缝接管 双活的数据库实现双向复制 同时两端数据库都是活动的 可以对两端的数据库同时进行操作 并保证两端数据库的同步 GoldenGate应用场景 数据仓库实时供给 实现 数据仓库数据实时得到更新对源系统低影响 用途 提升商务智能和信息分析能力实时可用的数据仓库 GoldenGate应用场景 实时报表 实现 将实时报表从主系统剥离 可根据客户需求定制显著提高主系统性能 用途 实时报表提高系统性能和可用性 目录 GoldenGate产品介绍GoldenGate工作原理2 1GoldenGate的变化数据捕获2 2GoldenGate的变化数据传输2 3GoldenGate的变化数据投递GoldenGate系统要求GoldenGate容灾实现方案GoldenGate容灾成功案例讨论和总结 GoldenGate变化数据捕获 性能和可扩展性 基于数据库日志捕获变化数据高吞吐量 每小时可以处理60G的数据库日志低资源消耗 占用不到3 的CPU 300M左右的内存松耦合架构通过配置多个捕获进程进行灵活性扩展 通常不需要 可以对一组大表 热表 配置独立的捕获进程过滤和压缩不必要的变化数据直接过滤掉Updates和Deletes操作默认进行压缩处理 目录 GoldenGate产品介绍GoldenGate工作原理2 1GoldenGate的变化数据捕获2 2GoldenGate的变化数据传输2 3GoldenGate的变化数据投递GoldenGate系统要求GoldenGate容灾实现方案GoldenGate容灾成功案例讨论和总结 GoldenGate变化数据传输 基于TCP IP协议进行数据传输低带宽 512k的带宽都可以远距离传输 已有案例中最远距离为天津 伦敦实时数据同步加密传输过程支持加密方式传输压缩传输过程压缩比可达到8 1 目录 GoldenGate产品介绍GoldenGate工作原理2 1GoldenGate的变化数据捕获2 2GoldenGate的变化数据传输2 3GoldenGate的变化数据投递GoldenGate系统要求GoldenGate容灾实现方案GoldenGate容灾成功案例讨论和总结 GoldenGate变化数据投递 性能和可扩展性 松耦合架构通过配置多个投递进程进行灵活性扩展可以对一组大表 热表 配置独立的投递进程可以对单表再进行扩展 配置多个投递进程事务分组小事务可以进行分组处理 加快投递性能记录分批在一个SQL执行过程中 可以对记录进行分批处理 加快投递性能记录分批处理自动完成 GoldenGate工作原理 捕获 实时读取交易日志捕捉数据变化并可实现过滤 源数据库Oracle Non Oracle 目标数据库Oracle Non Oracle GoldenGate工作原理 捕获 实时读取交易日志捕捉数据变化并可实现过滤 队列文件 暂存变化数据 用于下一步传输 源数据库Oracle Non Oracle 目标数据库Oracle Non Oracle GoldenGate工作原理 捕获 实时读取交易日志捕捉数据变化并可实现过滤 队列文件 暂存变化数据 用于下一步传输 传输 将数据传输到目标端 在传输过程中可以进行加密和压缩 源数据库Oracle Non Oracle 目标数据库Oracle Non Oracle GoldenGate工作原理 捕获 实时读取交易日志捕捉数据变化并可实现过滤 队列文件 暂存变化数据 用于下一步传输 传输 将数据传输到目标端 在传输过程中可以进行加密和压缩 投递 严格遵循事务完整性 将变化数据提交到目标数据库 源数据库Oracle Non Oracle 目标数据库Oracle Non Oracle GoldenGate工作原理 捕获 实时读取交易日志捕捉数据变化并可实现过滤 队列文件 暂存变化数据 用于下一步传输 传输 将数据传输到目标端 在传输过程中可以进行加密和压缩 投递 严格遵循事务完整性 将变化数据提交到目标数据库 源数据库Oracle Non Oracle 目标数据库Oracle Non Oracle 双向复制 GoldenGate工作原理 OracleGoldenGate的工作过程如下 利用捕捉进程 CaptureProcess 在源系统端读取OnlineRedoLog或ArchiveLog 然后进行解析 只提取其中数据的变化如增 删 改操作 并将相关信息转换为OracleGoldenGate自定义的中间格式存放在队列文件中 再利用传送进程将队列文件通过TCP IP传送到目标系统 捕捉进程在每次读完log中的数据变化并在数据传送到目标系统后 会写检查点 记录当前完成捕捉的log位置 检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制 GoldenGate工作原理 目标系统接受数据变化并缓存到OracleGoldenGate队列当中 队列为一系列临时存储数据变化的文件 等待投递进程读取数据 队列数据量一般只有log的四分之一左右 OracleGoldenGate投递进程从队列中读取数据变化并创建对应的SQL语句 通过数据库的本地接口执行 提交到数据库成功后更新自己的检查点 记录已经完成复制的位置 数据的复制过程最终完成 演示 目录 GoldenGate产品介绍GoldenGate工作原理GoldenGate系统要求3 1生产端系统要求3 2容灾端系统要求GoldenGate容灾实现方案GoldenGate容灾成功案例讨论和总结 GoldenGate系统要求 生产端系统要求 数据库要求 生产数据库需开启归档模式 对于RAC环境 需确保每个节点的Archivelog对于GoldenGate用户都是可读的 系统资源要求 CPU 每个进程消耗一核的3 内存 每个进程消耗150 300M内存网络要求 需要一个IP地址和一组端口 建议预留50个左右 在源和目标之间保证通过该端口可以互相访问即可 不绑定任何网卡 网络带宽 高峰每小时归档日志大小 3600 秒 小时 3 日志过
