金融数据库规范运维
金融行业运维实践-上海站 金融业数据库规范运维 孙志俊 双态融合，演进运维 吸取互联网的敏态 继承传统的稳态 双态 迅速迭代 安全生产、稳定运行 -HOW? -ITIL+DevOps 精益 价值 跨界 敏捷 双态运维，如何开展 十几十几 套套 几十几十 套套 破百破百 破千破千 了了 15001500上下上下 2 20 0年前年前 10年前年前 7年前年前 2年前年前 现在现在 运维对象&运维人员 运维对象庞大的当下，人员替换永远快于人才养运维对象庞大的当下，人员替换永远快于人才养成成 数据库有容灾，但是运维人员没有容灾数据库有容灾，但是运维人员没有容灾 员工小明 小明的组长 小明的同学 内容内容 前景前景 强度强度 酬薪酬薪 已经尽量争取 薪水不高 不担心薪酬 年轻需要拼搏 通宵太多 通宵不少补贴丰厚 稳定压倒一切 工作重复 技术前沿的探索者 时间到了就能升职 路在何方 历练之后就是首席 不仅活着，更要活得好不仅活着，更要活得好 简洁明了的步骤简洁明了的步骤 不怕断档的团队不怕断档的团队 安全生产、稳定运行安全生产、稳定运行 企业企业IT迭代加速迭代加速 清晰明确的流程清晰明确的流程 运 营 运 维 规范 从运维到运营的 工作工作流流 建设建设 信息流信息流 建设建设 Text in here Text in here 团队工作总纲： 工作手册、标准流程的方向 团队传承媒介： 历史信息、团队文化的载体 规范建设 规范建设指南 流流 程程 大大 类类 变更操作变更操作 安装部署、迁移升级、权限维护、对象维护、数据归档等安装部署、迁移升级、权限维护、对象维护、数据归档等 告警处理告警处理 性能告警、实例告警性能告警、实例告警、容灾告警、空间告警、配置告警容灾告警、空间告警、配置告警 值班巡检值班巡检 值班流程、巡检流程、接维流程值班流程、巡检流程、接维流程 性能优化性能优化 参数调整、语句改写、非改写优化参数调整、语句改写、非改写优化 应急预案应急预案 硬件损坏、软件损坏、关联基础系统损坏硬件损坏、软件损坏、关联基础系统损坏 流程大类 技术分类 流程子类 SOP 手册 工作流建设方向指引 DG 主主 备备 切切 换换 主库停库主库停库 锁用户 停止监听 备份listener.ora 杀残留会话 停库 备份备库的控制文件 备份备库的redo文件 备份spfile 备份tnsnames 备份监听文件 生成拷贝命令 启动数据库 解锁用户 启动监听 备库起库备库起库 备库换文件备库换文件 操作复杂操作复杂 不通用不通用 校对困难校对困难 操作步骤多且复杂 系统间交互较多 同类型的操作，也有大量细 节变动 生产变更的校对耗时和变更 复杂度成正比 拆拆 工作流建设的突破点 标准原子化成为了整个工作流标准建设的突破点 应用运维组 发现数据库 某重要报表 执行效率下 降，请排查 原因 信息的归档 信息库 事件库 告警库 变更库 一个完整故障信息被碎 片化成事件、告警、变 更等内容进行记录形式 某年某月某 日某时某分 数据库出现 CPU使用率 99%情况请 排 查 原 因 某变更窗口 对某报表系 统中的业务 表执行碎片 整理变更。 No记忆、No碎片 完整的记录确保准确 流程实战 基础技术 安装部署 环境为主 新人入 职事宜 信息的沟通 常规事件处理常规事件处理 异常问题处理异常问题处理 应急预案实施应急预案实施 各岗位在不同情况下， 各司其职 重大故障救援重大故障救援 远端专家团：三线岗位，重大问题分 析、重大事件保障等强专业性事宜 专家岗：二线岗位，处理异常问题 分析、性能抖动分析等高技能事项 值班岗：一线岗位，处理日常巡检、 常规告警处理等基础事项 值班岗值班岗 处理处理记录记录 当天汇报当天汇报 值班岗值班岗 上报专家岗&记录汇报 专家岗 处理解决 上报负责人&远端协调 远端专家团 异常终结者 值班岗值班岗 上报专家岗&负责人 专家岗 技术判断 应急预案双人复核进 行执行 远端专家团 后备保障者 值班岗值班岗 上报专家岗协调人协调人 专家岗 技术判断 救援方案制定者 远端专家团 救援方案制定者 信息的升级 利用好当前已有的东西，在体系大纲明确的基础上查缺补漏 迭代更新 工作流程是否 发生变化 是否已经覆盖了 生产所有版本和平台 各流程分类 是否需要丰富 同事间信息同步机制 是否发生变化 是否需要引入 新技术去迭代 更新技术规范 可用性事件的原因 是否因为规范的不合理 两大痛点 做好版本控制 不要只增不减 三大精髓 工作手册 传承媒介 精简复用 规范的迭代完善 一切操作脚本化 简单操作 无法复用 复杂操作 人力、时间 成本过高 操作分解 标准原子库 操作脚本原子化 建立标准原子库 规范原子化 规范脚本化 确定标准流程 确定标准操作 确定标准沟通 规范标准化 丌建议整体脚本化 规范的阶段总结 脚本管理，多语言脚本支持 流程编排，支持原子脚本调用 日志回显及结果判断 规范原子化的平台落地 D、团队知识传承自动 C、脚本复用，提高效率 B D A C 我们需要规范，将参数标准 化 为什么这两个系统的性能参数丌同 呢？ 运维人员 业务部门 A、规范丢失严重 运维人员A 这个脚本上次丌是写过了？ 这次场景变化丌少，需要 改动地方挺多 B、规范脚本不能复用 运维人员B 前辈你好，领导让你带我 新员工 老员工 参考新人入职规范，阅读 每天要学习的文档，在自 动化运维平台上进行工作 内容熟悉 运维经理 运维人员 本周我们有个重要变更 ，变更方案抓紧完成 将a操作，b操作，c操作的脚本 结合起来就行了 规范的迭代完善 自动化的极致智能化运维 何为智能化运维？一个因应突发事件而弹性自伸缩、自愈、自适应的软件系统， “自己运维自己”的“无人值守”运维 固化常见的 告警处理方式 收到告警 自动化处理 人工24小时值守 收到告警 手工处理告警 软件目录日志清理脚本 表空间自动扩充脚本 归档目录告警处理脚本 PGA过高会话杀除脚本 会话连接数满杀空闲会话脚本 CPU使用率高信息保留脚本 数据库hang信息保留脚本 异常等待事件信息保留脚本 从监控告警入手 先做自愈 标准化工作流、信息流 1 原子化使一切更加容易 2 自动化促进了双态共存 智能化化被动为主动 运 维 operation 运维 运维 operation 运营 operation 从运维走向运营 THANK YOU 12月3日 D+ Day 欢迎来撩： 讲师、茶歇、场地、赞助，统统可以。 预计150人规模。 微信来撩：boypoo
