商品库mysql优化实践-淘 宝数据库研发组
29页1、淘宝 商品库MySQL优化实践 QCon 2011 Beijing,核心系统数据库组余锋(褚霸) http:/yufeng.info 2011/04/08,Agenda,商品库项目背景介绍以及约束 技术要求和方案 性能保证 安全性保证 运维保证 优化成果 交流时间,商品库(单机,测试)情况,无复杂查询,离散度高 记录数:1亿条键值对 记录大小:100字节 数据文件:170G 访问热点情况:20%的键占用55的访问量 键读写比例: 10:1,硬件选择,主机: Dell; PowerEdge C2100; 处理器: physical = 2, cores = 12, virtual = 24 内存: 96 G RAID卡:LSI MegaSAS 9260/512MB Memory PCI-E Flash卡: Fusion-io ioDrive 320GB/MLC 硬盘: SEAGATE ST3300657SS 300G x 12,软件选择,发行版: Red Hat Enterprise Linux Server release 5.4 内核: Kernel | 2.6.18-164.el5
2、 文件系统:Ext3 Flashcache: FB内部版本 MySQL 版本: 5.1.48-log Source,Agenda,商品库项目背景介绍以及约束 技术要求和方案 性能保证 安全性保证 运维保证 优化成果 交流时间,商品库技术要求,高可用,安全第一 高性能,性能平稳,性价比高 控制运维风险,技术方案,MySQL数据库集群,数据水平切割,主从备份 采用高性价比PC服务器,大内存,强劲CPU 采用高性能PCI-E Flash卡作为cache, 提高系统的IO性能 充分利用系统各部件的cache, 大胆采用新技术 充分考虑容灾,在各个层面考虑数据的安全性,系统资源规划,内存分配: MySQL InnoDB buffer pool OS pagecache 驱动程序IO能力分配: 读能力,零散读,提高IOPS 写能力,集中写,提高吞吐量Cache分配: MySQL内部cache 匿名页面/文件页面 Flashcache 混合存储 Raid卡内部cache,调优指导思想,杜绝拍脑袋,理论(源码)指导+精确测量+效果验证 内存为王 数据访问规律导向,随机数据和顺序数据尽量分离 尽量提高I
3、O的利用率,减少无谓的IO能力浪费 在安全性的前提下,尽可能的利用好系统各个层次cache,调优工具,源码+emacs+大脑 必备工具 systemtap oprofile latencytop blktrace/btt/seekwatcher aspersa tcprstat sar gdb 自制工具 bash脚本 gnuplot脚本,Agenda,商品库项目背景介绍以及约束 技术要求和方案 性能保证 安全性保证 运维保证 优化成果 交流时间,MySQL数据库,考虑因素: 主从备份带来的性能影响 复杂数据查询操作是否需要预留内存以及上限 数据备份dump对系统的影响,避免系统swap 开启binlog带来的性能开销 限制最大链接数 # max_binlog_cache_size=2G max_binlog_size = 500M max_connections = 1020 max_user_connections=1000 query_cache_size = 30M,InnoDB引擎,考虑因素: 尽可能大的BP(buffer pool) 日志和数据分设备存储 离散数据走direc
4、t-IO,顺序日志走buffered-IO 减少脏页的同步,提高命中率 减少锁对多核CPU性能的影响 提高底层存储默认的IO能力# innodb_buffer_pool_size = 72G innodb_flush_method = O_DIRECT innodb_sync_spin_loops=0 innodb_log_group_home_dir = /u02/ innodb_io_capacity=2000 innodb_thread_concurrency = 64,高速页缓存,考虑因素: page资源倾斜给数据库, 尽量不浪费,兼顾临时内存申请 避免NUMA架构带来的zone内存分配不均而导致的swap现象 cache大部分由InnoDB日志产生,适时清除,限制page数量# # numactl -interleave=all mysqld # sysctl vm.drop_caches = 1vm.swappiness = 0 vm.dirty_ratio = ? vm.dirty_background_ratio =? vm.pagecache = ?,文件系统,考虑因
《商品库mysql优化实践-淘 宝数据库研发组》由会员小**分享,可在线阅读,更多相关《商品库mysql优化实践-淘 宝数据库研发组》请在金锄头文库上搜索。
2020年高考真题——理科综合(全国卷Ⅲ)+Word版含答案
2021年绝味鸭脖策划书
2021年熟食店创业方案
2021年熟食店开店策划
2021年卤菜店创业计划书
2021年周黑鸭网络营销策划方案
东大21年1月考试《现代设计方法》考核作业
谈我国行政管理效率的现状及其改观对策(论文)
单证员考试-备考辅导-复习资料:无贸易背景信用证案分析.docx
土木工程毕业生答辩自述.docx
建筑学毕业后工作状态真实写照.doc
C#代码规范(湖南大学).doc
xx区食药监局2019年工作总结及2020年工作计划
2019年中医院药物维持治疗门诊工人先锋号先进事迹
2019年度xx乡镇林长制工作总结
2019年性艾科工作计划书
2019年人才服务局全国扶贫日活动开展情况总结
关于组工信息选题的几点思考
摘了穷帽子 有了新模样
2019年某集团公司基层党支部书记培训班心得体会
2024-01-31 15页
2024-01-31 21页
2024-01-31 37页
2024-01-31 30页
2024-01-31 22页
2024-01-31 48页
2024-01-31 32页
2024-01-31 40页
2024-01-31 31页
2024-01-31 20页