oraclecoherence分布式数据缓存解决方案

Oracle Coherence 分布式数据缓存解决方案,刘晓宇 甲骨文（中国）软件系统有限公司,议程,Oracle Coherence和分布式数据网格 缓存和DB的交互关系 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例 总结,应用架构的变革,集群 Oracle RAC(Real Application Cluster) Cluster File System/ASM Oracle Clusterware Weblogic 集群 负载均衡 .,越来越不能满足,现实世界让数据供不应求,Web 与应用服务器,数据需求,不断扩大的用户领域,数据处理,数据供应,共享服务,数据库,应用系统潜在的处理瓶颈和热点,高频业务,多页查询,复合型页面,存储,数据库,应用 服务器,D,各种不同类型业务相互影响,数据库,D,D,数据库节点之间的锁,存储的带宽即使很大，但是到每个数据库节点的带宽依然有限,D,D,D,同一个数据项被反复操作,X,复杂请求无法有效地并行处理,数据的分布情况对有效带宽影响很大,性能问题解决途径,高频业务,多页查询,复合型页面,存储,数据库,应用 服务器,D,按照业务类型分离,数据库,D,D,减少数据库级的锁,D,D,D,减少重复访问,提高并行处理能力,应用 服务器,D,数据前提,应用架构的变革,统一 整个集群内统一的数据视图 扩展 扩大集群的规模即可在不影响性能的情况下增加容量 并行计算 分布式数据处理，造一个可扩展的平台，实现高性能内存中分析,内存数据网格解决方案 分布式、内存中数据管理,Oracle Coherence是什么？,10,应用层的数据网格解决方案 OR 分布式内存对象数据解决方案,Oracle Coherence 分布式内存数据网格是一个专门为需要低响应时间、高吞吐量、可预见扩展性、持续可用性和信息可靠性的多服务器间共享的应用对象设计的数据管理系统。,Coherence的前世今生,Coherence的核心功能特性,应用数据高速缓存 网格内的数据共享 网格内数据操作的一致性 数据网格的自动伸缩 网格数据的持续可用 网格数据的持久化,分布式环境下，应用集群的节点之间或者多个应用之间，数据对象缓存与共享相关的一系列问题。（Scalability,Reliability,Performance）,Coherence集群 对等性,集群中的所有节点的角色都是一样的。 无需人工干预，数据会均匀分布在各个节点上。 具有云资源特性即客户端不许关心数据存在哪个节点上，客户端从任何一个节点就能透明地逻辑访问任何数据。,Coherence集群 可靠性,集群自动选择某一节点保存主数据。 主数据会分布式地备份到其它节点。 每个节点都和其他节点校验节点的健康性 当一个节点不正常的时候，其他节点会进行状态诊断,非健康节点会被集群隔离 剩下的节点会重新分布非健康节点主数据,X,Coherence集群 分布式并行计算,Coherence集群 扩展性,议程,Oracle Coherence和分布式数据网格 缓存和DB的交互关系 数据持久化 Hot Cache 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例 总结,Oracle Coherence:数据持久化模式,旁路缓存 由开发人员管理缓存 在读取数据源前检查缓存 在读取数据源后放入缓存 在更新数据源后更新缓存 直读/直写 （Read Through/Write Through） 所有数据读取/写入操作都通过缓存 缓存内没有数据时自动从数据源装载 更新缓存并同步方式写入数据源 后写入（Write Behind） 所有数据写入操作都通过缓存 更新缓存并异步方式写入数据源 定时刷新（Refresh-Ahead） 为缓存定义过期时间和提前加载时间 在过期前访问缓存，采用异步更新加载 在过期后访问缓存，采用同步更新加载,实现数据持久化,支持TopLink, Hibernate, JDO等,RAC,JVM,Cache,Cachestore,JPA,JVM,Cache,Cachestore,JPA,Store,Load,内存Coherence集成,议程,Oracle Coherence和分布式数据网格 缓存和DB的交互关系 持久化 Hot Cache 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例 总结,Hot Cache可将变化的数据推送到Coherence中,Database,Coherence,3rd Party Application,Read / Write,GoldenGate Hot Cache,GoldenGate,Read / Write,议程,Oracle Coherence和分布式数据网格 缓存和DB的交互关系 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例 总结,确保集群范围内的数据操作一致性,Coherence通过以下机制确保集群范围内对数据更新的一致性： 锁机制 性能较低 队列机制 实现Entry Processors接口 对同一Key的操作放在队列中执行，避免锁。 执行效率更高,确保集群范围内的数据操作交易完整性,可将Coherence的对象操作 加入到JTA分布式事物中进行管理,议程,Oracle Coherence和分布式数据网格 数据缓存和DB的交互关系 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例 总结,Coherence缓存的拓扑类型,本地缓存(Local Cache),非集群本地缓存 在应用自身的堆内存中保持POJO对象的引用 目的: 取代私有的缓存机制 兼容并与其它Coherence Schemes协作 可配置的过期策略: LFU, LRU, Hybrid (LFU+LRU), Time-based, Never, Pluggable,复制缓存(Replicated Cache),集群缓存的强力实现 在所有成员复制并管理所有数据 为所有数据提供零延迟的本地访问 复制和同步过程对开发者透明 目的: 为提供极限读性能设计 可配置的过期策略 LFU, LRU, Hybrid (LFU+LRU), Time-based, Never, Pluggable,分区式缓存 (Partitioned Cache),集群的缓存 透明的分区，分布存储，在所有成员间备份数据 目的 为提供极限扩展性设计 可配置的过期策略 LFU, LRU, Hybrid (LFU+LRU), Time-based, Never, Pluggable,就近缓存(Near Cache),前端后端缓存方案的组合 提供L1、L2缓存 (缓存的缓存) 目标 在线动态组建分区拓扑 本地缓存(L1)构建在partition缓存基础上(L2) 获得可扩展和性能的最佳方案 方法 配置“前端”和“后端”拓扑 可配置的过期策略 LFU, LRU, Hybrid (LFU+LRU), Time-based, Never, Pluggable,不同缓存拓扑的特性对比,议程,Oracle Coherence和分布式数据网格 缓存和DB的交互关系 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例 总结,Coherence支持事件处理,通过Trigger和Listener接口 实现事件分布式处理,事件处理流程,议程,Oracle Coherence和分布式数据网格 缓存和DB的交互关系 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例 总结,Coherence运行监控管理1,通过JMX MBean监控管理Coherence 监视Coherence的实例、内存、对象、事件等,Coherence运行监控管理2,通过Oracle Enterprise Manager的coherence管理包监控管理Coherence,议程,Oracle Coherence和分布式数据网格 缓存和DB的交互关系 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例 总结,WebLogic with Coherence = ActiveCache 弹性会话, 缓存和数据网格作为独立的架构层次,In Memory Data Grid,WebLogic Server Cluster,Coherence,Coherence,Coherence,Coherence,Coherence,使用Coherence的WebLogic Server,Process Flow / Orchestration,P,B,备份节点,主节点,取 / 存 (Cachekey),服务数据,Coherence Data Grid,OSB Result Cache,Oracle Service Bus,检查cache,如果结果不在缓存，则调用服务和缓存结果,Side Cache模式,服务总线缓存 - Service Result Cache 扩展的应用基础架构,门户Portlet Session共享,Web Center,WSRP Portlet 4 Producer,WSRP Portlet 3 Producer,WSRP Portlet 1 Producer,WSRP Portlet 2 Producer,In Memory Coherence Data Grid for WSRP Producer/Consumer Session Sharing,WSRP Producer Server,WSRP Producer Server,安全策略缓存,Coherence和Oracle访问授权产品OAM集成 将安全访问策略加载到Coherence中提高访问性能。,实时数据看板,Oracle BAM可将Coherence作为一个数据源活动数据缓存,Portal,BPEL,CRM,ERP,CEP,Rules,BAM,Coherence,内存数据共享网格,驱动处理流程,监控重要事件,处理数据来源,快数据处理架构,Oracle Coherence,议程,Oracle Coherence和分布式数据网格 缓存和DB的交互关系 数据操作一致性和交易 缓存拓扑模式 缓存事件 缓存管理 集成方案 应用场景和案例 总结,Coherence适用的场景,全球金融案例,国内用户,东方海外货柜航运有限公司,Tencent Games,Over 70M users globally, and around 30M in China 5M concurrent users in the world, and its about 2M in China 65% market share in game market, #1 in China Concurrency means resource scalability “Social in game” elements require uniform access Real time QOS, e.g. “invite a friend to join the game instantly”,Why Coherence,Caching providing flexibility Failover Distribution of workload Performance Scalability and Response Distributed Cache for online transient data,广州移动电子渠道项目,客户服务中心 提供全业务全品牌的 网上客服和业务体 验，分流客服压力,营销中心 广东移动业务宣传推 介与产品营销的核心 渠道,增值应用