您所在位置：网站首页 > 商业/管理/HR > 管理学资料高可用数据服务交易系统架构实践

高可用数据服务交易系统架构实践

19页

卖家[上传人]：小**

文档编号：89257550

上传时间：2019-05-22

文档格式：PDF

文档大小：2.77MB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

10 金贝

/ 19 举报版权申诉马上下载

文本预览

下载提示

常见问题

1、高可用数据服务交易系统架构实践高可用数据服务交易系统架构实践 SDMK = Smart Data Market SDMK提供了API服务，人群数据服务，异步服务等内容；还开放了Lookalike，情景感知，预测引擎，推荐引擎等人工智能服务；降低数据应用场景的难度，帮助更多企业发现数据的深层价值。 SDMK的功能模块 Gateway Service (TD&3rd) Log (in ElasticSearch) Charging Storage Persistent data ( in MySQL) Cacheddata (in Redis) Metering Message Queue (by Kafka) Adaptor Account TDAccount Center Async Gateway FileService Service Mgmt PaymentWallet ReportAudit Website Back End Page Human UI Front End Page OM 业务流程服务调用基本业务逻辑用户Gateway AccountMeteringSer

2、vice 验证身份和购买检查配额校验身份查已用量可用性挑战要求计量最终误差要求不高于 0.01% 交易系统可用性要求不低于 99.9% 0.01% 99.9% 准确计量要求 1.计量准确无误 2.交易-计量闭环，要求高并发下实时计量 3.容错性准确高并发故障恢复 1.减少系统耦合 2.降低数据库压力 3.应对高并发 4.易于扩展异步计量准确计量初始架构：实现功能 GatewayUserService Charging 1 2 Log Storage& Calculation 3 4 5 准确计量架构演进：提高效率 Log Storage& Calculation Charging 2 14 UserGatewayService 5 Permanent Storage Cache 3 Message Queue 6 Metering 3 准确计量 Lambda 主数据集（不变层）：Elastic Search中的日志批处理层结果：MySQL中按天存储的用量速度层：Redis中的当天和昨天结果服务层：按天进行预计算查询服务：Metering模块计

3、算结果的开-闭原则多种计量指标同时计算，按需取用速度层实时视图实时视图实时视图调用日志批处理层主数据集批处理视图批处理视图批处理视图用户X购买的Y 服务还剩多少？消息队列准确计量架构演进：服务降级与重算 GatewayUser Service Log Storage Charging 1 2 4 5 Permanent Storage Cache Metering 3 Message Queue 6 3 高可用性 1.【事前】预防 2.【事中】自动化故障转移 3.【事中】故障感知 4.【事后】故障恢复挑战：可用性目标1级整体服务的高可用性, 99.9%（不可用时间每年低于9个小时，每月低于1小时）感知恢复预防发生故障转移高可用性分布式部署，无状态设计 1.所有服务通过nginx调用，多upstream，轮询机制 2.服务无状态，必要的状态保存在中央存储中(MySQL/Redis等) 3.所有调用必须带trackid，以便定位问题，缩短故障恢复时间 Instance2 Service Instancen Instance1 Nginx

4、 Nginx Caller 高可用性降低关键路径复杂性与负载对于SDMK来说，关键路径就是通过Gateway进行的服务调用 1.专注于核心业务，尽量少加入无关的复杂逻辑与数据依赖 2.调用其它服务均需设置超时，避免被外部服务故障影响适时拆分和合并功能模块 1.降低模块复杂度 2.清晰部署边界 SDMK可用资源高可用性 1.熔断机制 2.限制用户处于pending状态的请求数 3.分服务SLA 4.独立适配器资源限制对资源的使用进行限制，避免无效或者故障调用耗尽资源用户A可用资源服务S1 服务S2 高可用性消息系统的选择 1.数据可持久化 2.支持订阅和队列两种方式 3.高性能 4.具有水平扩展性使用消息系统解耦缓冲支持故障恢复应用易扩展高可用性 1.所有服务上线之前必须有基本监控与报警 2.基础组件监控与报警 3.业务指标监控与报警 4.调用追踪系统监控与报警白盒业务组件追踪服务高可用性 Nginx(外) Nginx(内) SDMK 服务数据服务用户探针监控与报警黑盒 1.Nginx监控与报警 2.探针和心跳监控 3.外部可用性（端到端）监控与报警监控端到端 Lua 高可用性减少更新带来的故障灰度系统的使用 1.基于用户标识和Lua的Nginx分流 2.SCM系统的配合 3.与探针结合使用 Nginx 用户探针灰度 SDMK SDMK 数据服务 THANKS

《高可用数据服务交易系统架构实践》由会员小**分享，可在线阅读，更多相关《高可用数据服务交易系统架构实践》请在金锄头文库上搜索。

点击阅读更多内容

TA的资源