柯旻-扬帆起航--大数据应用的自动化运维之路.pdf

大数据应用的自动化运维之路 柯旻---花名大舞，阿里集团技术 保障部-云计算运维-高级技术专 家，2007年加入阿里，目前负责 阿里Hadoop(云梯)/odps(5k)集群 以及内部OTS/ HBase系统的运维 工作专注于大规模海量数据分 布式计算运维工作 1999-2005 开始接触互联网 2005-2007 网易系统运维 2007-2009 alibaba系统运维 2009至今 大数据,云计算运维 旺旺：大舞 Email：dawu@ @大舞-ukl 分享内容  大数据/云运维面临的变化挑战  大数据/云运维要操心哪些事  自动化运维&devops  性能瓶颈分析  数据化运维  大数据云环境下新的运维挑战 大数据/云运维面临的变化挑战 规模快速膨胀规模快速膨胀 跨机房，跨地跨机房，跨地 域域 需求需求& &成本成本 数据安全数据安全 灵活性灵活性 Hadoop集群服务器增长 2009.4 2010.3 2010.7 2012.1 2012.10 2013.7 2014? 大数据/云运维要操心哪些事 自动化运维&devops 1. 基础环境标准化 2. 硬件上线自动化检查 3. 自动化一站式portal 4. 自动化报表统计可视化 5. 硬件定制 6. devops 硬件上线前监测（fw版本，bios配置，驱动版本以 及性能情况） 硬件上线前自动化检查 8 自动化一站式portal 报表统计可视化 硬件定制 AliRack正面侧视图 AliRack正面冷通道视图 服务器部署效率提升10倍，总体拥有成本（TCO）降低5% 成本&效率 Devops 集群自动化故障监测和处理系统开发—华佗 目前已经自动化处理： 1. 系统盘和飞天工作盘容量满。

2. 系统盘sda 损坏 3. 服务器load过高 4. 服务器宕机 5. 磁盘坏盘预测 6. 交换机故障 7. chunksrever shutdown 8. 机房间网络异常 9. 内存条损坏，内存总量减少 10.服务器硬件检查自动报修 性能瓶颈分析 •常见的性能瓶颈 –Cpu（线程互锁，上下文切换，超线程，不同内核版本对系统调用的差异） –内存（DDR3，三通道，NUMA） –网络（网络通信库，交换机吞吐，万兆网的普及，吞吐中断） –压缩技术 –磁盘IO（IO优化，SSD，FIO及驱动） –大数据传输与分发 –分布式与并发调度 –实时连续数据流计算与存储 –………. •应对思路 –Profiling，systemtap probe，perf等辅助工具 –有效缓存 –架构优化与重组 –新技术和设备的合理使用 –瓶颈分析是控制资源非常有意义的事情，往往能够带来突破 数据化运维 • 自动高效的收集数据 • 对数据敏感 • 借助平台的力量 • 提高运维效率，预防故障发生 • 数据化分析做出更合理的判断 数据才是唯一真实可靠的！ 服务器选型 18 磁盘文件系统 19 •EXT3文件系统，当时的数据量， 做一次fsck需要至少半个小时 •每次修复需要停掉一台节点的应用 H云计算平台的133天中： 625次文件系统的fsck。

平均每天需进行4.7次的修复 保守按耗费半小时来计算 造成每天有141分钟单台不可用时间 有数据就有底气： •应用程序改造能允许卸载目录 •挂载目录后应用程序能够识别 •选用更可靠的EXT4文件系统 1 4 0 141分钟 downtime 减少恢复时间 热点分析 1.各种硬件配置情况一直在发生变化 2.按需分配，削峰填谷 3.如何清晰的描述物理&虚拟之间的关系 4.海量的运维数据如何及时高效的找到我们需要的 5.业务急剧膨胀，某个应用突然新上线大规模作业？ 6.大压力情况下出现边界效应，小概率事件触发成为常态 7.单机房已经无法满足我们需求，跨机房，跨地域集群该 如何运维？ 8.成本，成本，如何控制成本 ………… 大数据云环境下新的运维挑战 21 加入我们 欢迎加入阿里巴巴技术保障 大数据云计算运维 我们还在路上， 一起改变世界！！！ Q&A @InfoQ infoqchina 。