您所在位置：网站首页 > 办公文档 > 解决方案美团点评数据库智能运维探索及实践

美团点评数据库智能运维探索及实践

31页

卖家[上传人]：第***

文档编号：62006266

上传时间：2018-12-16

文档格式：PDF

文档大小：4.83MB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

20 金贝

/ 31 举报版权申诉马上下载

文本预览

下载提示

常见问题

1、美团点评数据库智能运维探索与实践赵应钢 2017-12-09 大纲 1数据库平台的演变 2现状和面临的挑战 3从自动化到智能化大纲 1数据库平台的演变 2现状和面临的挑战 3从自动化到智能化演变历程-人肉+脚本脚本化工具化产品化自助化自动化脚本化时代人少机器少流量小演变历程-工具化脚本化工具化产品化自助化自动化工具化时代脚本封装为工具，工具共享围绕CMDB管理资产与服务监控不断完善工具逐渐丰富： DDL变更工具 SQL Review工具慢查询采集分析工具备份闪回工具演变历程-产品化脚本化工具化产品化自助化自动化产品化时代工具孵化为产品在易用性、安全性上不断迭代产品的主要用户为DBA 定位为方便运维演变历程-自助化脚本化工具化产品化自助化自动化自助化时代效率降低，转变思路，开放授权 DBA从变更中解脱：每天自助改表200+次自助查询10000+次自助申请账号、授权、调整监控自助下载各种日志平台走向3个分支： RDS自助平台 DBA管理平台线下环境操作平台演变历程-自动化脚本化工具化产品化自助化自动化自动化时代半自

2、动扩缩容高可用自动部署主从自动切换自动容量评估预警过载自我保护大纲 1数据库平台的演变 2现状和面临的挑战 3从自动化到智能化平台现状 DBA 运维测试开发产品用户平台 DBA平台 RDS平台 API 工单客服公告任务系统基础运维服务 HACMDB初始化 MGW管理DNS管理日志服务慢日志 BINLOG 监控服务链路监控 Falcon 优化诊断 SQL评审 SqlAdvisor 运营服务 DOM 平台质量扩容升级备份拆分表变更 DB创建账号管理任务管理数据归档机器管理 Processlist 审计日志深度监控实时监控容量管理 DBA周报报警自动处理服务化治理线下管理平台MySQLRedisCellarMySQL+NoSQL 挑战1-RootCause定位难慢查询增多，连接数增多业务队列堆积，不停重试数据库性能恶化，所有SQL都变慢 1.数据库是结果还是原因？ 2.如何杜绝再次发生？挑战2-人力和发展困境成长的烦恼流量成倍增长集群不断拆分开发诉求越来越多实时性要求不断提高人力的困境时间被碎片化成长遇到瓶颈业务咨询量暴增

3、专业DBA越来越贵突破困境-转型智能化故障触发隐患驱动被动接受主动出击 DBA发起和解决系统发起，RD自助人肉救火智能决策执行传统运维智能运维 DBA亲临事故现场DBA隐身幕后大纲 1数据库平台的演变 2现状和面临的挑战 3从自动化到智能化目标高效稳定快速从重复、繁琐的工作中解放，转型AI 更稳定、高可用，专注业务开发 DBA业务公司提升技术保障的效率，降低成本思路采集分析+预警报警+处理采集分析+预警+执行报警+分析+执行传统运维智能运维方案预警重要不紧急；报警紧急且重要预警问题域明确，决策执行思路清晰报警依赖事故现场链路分析，变量多，决策难，风险大全面采集；增多预警，减少报警先实现预警部分智能化；再实现报警部分智能化采集数据应用数据端到端的成功率响应时间95线、99线错误日志吞吐量系统监控可支持秒级采样各种系统参数 cpu、io、net、mem 系统日志数据库状态 global status processlist innodb status slow、error、general log binlog

4、变更和发布日志集群拓扑调整在线DDL、DML变更应用端发布记录 DB平台操作日志分析数据集群层面每年新增多少个集群？哪些集群写入峰值超过5000？哪些集群？内部版本不一致 binlog format不一致主从复制规则不一致不支持GTID 实例层面 5.5，5.6，5.7占比？ qps是否有倾斜？网卡使用是否有倾斜？读写比？容量是否足够？库层面哪些DB已经被废弃？哪些DB被最频繁访问？哪些DB被跨业务线访问？表层面多少个热、冷、大表？多少个无主键表？多少个myisam表？有哪些废弃表、索引？哪些自增ID将溢出？数据库画像-整体资源规划 1主20+从的集群增多服务器需要scale up 读增加迅猛，读写比变大推进存储KV化落地利用率和分布情况影响到采购和预算制定哪几类报警最多专项治理，各个击破数据库画像-集群健康评估支付核心集群，不能降级历史上最大写入QPS 2000，从库开启并行复制，无延迟风险，无需拆分已开启GTID，支持自动切换所有表都有主键；全部为innodb引擎 10ms慢查询占比小于万分之三磁盘IO稳定，数据全

5、部在内存中最近一个月新增3类查询语句，有一个是慢查询 topN的查询都基于主键，性能良好有大事务，可能导致并发问题数据库预警通过报表发现隐患把报警转化为预警数据库报警TopN 5% 5% 7% 17% 17% 20% 28% Seconds_Behind_Master load.1minPerCPU df.bytes.free Slave_IO_Running Slave_SQL_Running net.if.out Threads_running 主从延迟、容量预警磁盘空间预警不单纯的使用百分比；根据趋势进行预测慢查询预警报警自动处理-自适应的高可用自动生成配置文件自动判断是否启用监控切换后自动重写配置从库可自动恢复上线报警自动处理-基于规则的回调报警自动处理-基于规则的回调智能化总结展望将长期处于自助化、自动化、智能化的交叠前进状态自动清理自动加索引自动扩缩容自动处理报警 DB平台自动发现问题自动解决问题我们在招聘DBA+SRE 为gh-ost贡献issue+patch 为mha贡献issue+patch 开源DBproxy、SQLAdvisor、Zebra、MyFlash等数据库产品自研分布式KV存储系统Cellar，计划开源负责外卖、配送、金融、酒旅、猫眼、打车等业务线邮箱： Q & A

《美团点评数据库智能运维探索及实践》由会员第***分享，可在线阅读，更多相关《美团点评数据库智能运维探索及实践》请在金锄头文库上搜索。

点击阅读更多内容

TA的资源