网易海量数据存储平台.ppt

网易海量数据存储平台,王磊网易杭研院,海量存储空间,高效的数据访问：高并发、低延迟,高可扩展性,高可用性：7x24,安全性和可靠性,功能和接口丰富、简单易用,有效应对系统（数据、模式、环境）变更和升级,易维护：管理便捷，自动化程度高,控制成本,互联网应用的数据存储需求,设计目标：,为博客、相册、邮箱、网盘、,IM,等各类大型互联网应用提供一种,通用,的用户数据存储和管理解决方案实现方案：分布式数据库,+,分布式文件系统,分布式数据库（,DDB,）：基于关系数据库集群解决结构化数据的海量存储和高效访问分布式文件系统（,DFS,）：以文件为存储单位的非结构化数据存储解决方案网易海量数据存储平台简介,基于水平,Sharding,的,Scale Out,，表大小不受限多平台和多语言环境下的,SQL,访问接口支持常用的,RDBMS,功能：,DDL,：支持大多数常用语句，,union,和嵌套查询除外,DML,：表、视图、存储过程、触发器等,用户管理和权限控制,全局,ID,分配,事务支持：节点内、跨节点、跨,DDB,支持,MySQL,和,Oracle,混合使用命令行和图形化管理工具DDB,的功能特点,DDB,系统架构,DDB Sharding,实现原理,DBN1,DBN2,访问性能优化,安全性问题,监控和故障处理,系统更新和升级,系统扩容,需要解决的问题,去中心化，Client通过,DBI,直接访问,DBN,尽量避免分布式查询,DBI Cache,Meta Data Cache,DBN Connection Pool,DBN PreparedStatement Cache,SQL Syntax Tree Cache,优化排序操作：,Merge Sort,优先,内部游标,基于,Master-Slave,的读负载均衡和读写分离,DDB,访问性能优化,系统设计优化,访问认证,用户名、口令认证和,IP,地址检查,DDB,认证,+DBN,(RDBMS)认证,权限管理,区分普通用户和管理员用户,权限粒度控制到表的读、写和授权,用户访问配额控制,管理员权限细分：Schema配置、维护、监控统计、用户管理,管理员操作日志,其他：,口令加密传输和保存,只允许内网访问,DDB,系统安全,DBN,状态监视：,By Master,心跳监视和报警，故障时切换到,Standby Node,。

Session,自动监视、统计和报警,Slow Log,自动监视、统计和报警,复制延迟和异常自动监视和报警,Query Server,监视：,By Master,心跳监视和报警，动态调整和广播可用的,QueryServer,列表负载监视，动态调整和广播可用的,QueryServer,访问权值Master,监视：,By Monitor or Zookeeper,采用主从模式，故障时自动切换,Meta Data,复制,DDB,状态监视和故障处理,系统变更：,产品升级、硬件升级、系统软件升级、,DDB,版本升级,技术挑战：,降低影响、避免误操作、时间可控、自动化、可回退,应对策略,硬件和系统软件升级：主备切换，逐步替换,测试环境,-,线上环境：正确性验证和实施时间评估,管理操作支持命令行方式执行，降低重复操作中的误操作,计划任务：支持多任务、多模式、异常处理、详细日志和执行结果通知,数据备份：,Mirror+,backup(snapshot),+Binlog,DDB,版本升级：,Master,和,DBI,升级，通信协议向下兼容,应对系统变更和升级,技术挑战,降低对线上服务的影响,灵活地扩充资源,降低复杂度,保证执行效率,实现原理,DDB,扩容（1）,实现方案,方案一：,DBN,间数据导出导入,优点：迁移效率较好，实现较简单，灵活性好,缺点：停服时间长，容易导致数据不一致，删除数据的负面影响,方案二：基于事务的批量数据迁移,优点：不用停服，应用透明，灵活性好,缺点：实现复杂，迁移效率低，对线上访问有一定影响。

方案三：基于复制的数据扩容,优点：对应用透明，不需停服，效率高，对线上访问基本无影响缺点：操作较为复杂，只能实现成倍扩容，灵活性较差DDB,扩容（2）,面向海量的非结构化用户数据存取,支持大量的高并发数据操作,支持动态扩展，存储量和处理能力线性增加高可靠性，避免数据丢失和单点故障,负载均衡，可控性好,存储成本可控,DFS的设计目标,数据访问去中心化,文件读取和写入不经过中心节点，提高访问效率,通过ID（64bit）标识和定位文件,文件元信息：不支持目录、文件名、权限信息，支持SIZE，UpdateTime，MD5访问接口：,不支持POSIX文件接口,面向Java/C+的API：read,insert,delete,append,update等,HTTP文件读取接口,支持多副本,支持数据复制和迁移,支持文件粒度的数据去重,定制硬件降低成本,DFS的功能特点,DFS系统架构,数据定位ID到文件地址的映射,以Bucket为单位进行配置和管理,将Bucket映射到不同SN的不同磁盘上,FSI负责多副本的同步写,FSI和前端机随机挑选副本读取数据,SN故障处理：,MDS检查到SN心跳失效,MDS通知所有FSI和前端机停止对故障SN的访问,MDS通知其他副本所在SN将桶数据复制到空闲SN上,MDS修改数据映射表,多副本管理,应用场景：,恢复或增加副本,SN系统软硬件更换或升级，服务器搬迁,跨数据中心灾备,均衡负载,实现策略:,以桶为单位进行迁移,通过Redo日志避免停服或只读.,操作步骤:,源SN记录,Redo,日志,源SN将桶目录复制到目标SN的指定目录,在目标,SN,上Redo操作日志并记录完成时的日志结束位置,禁止到源SN的写操作,从记录的位置Redo操作日志,增加桶到目标,SN,的映射关系,开启源和目标SN上对应桶的读写操作,数据复制和迁移,定制存储服务器,配备桌面级SATA硬盘 24x2T,电源管理功管理磁盘上下电状态,DFS对定制服务器的支持,通过多副本减少磁盘故障的影响,对只读或只有少量写操作的磁盘组轮流上下电，通过Redo日志保证数据一致。

带来的好处：,降低硬件采购的成本,降低功耗,延长磁盘寿命,DFS定制存储服务器,使用平台的产品,网易博客,网易微博,网易相册,网易邮箱,网易,POPO,（即时通信）,社区、休闲游戏,DDB存储节点数量,400+,DDB总数据量,6,0T,B,DFS存储节点数量,1200+,DFS总数据量,4PB,平台应用情况,感谢您的关注！,Q&A,。