私有云技术白皮书

金山私有云技术白皮书金山私有云技术白皮书北京金山安全目录1.产品技术定位42.技术架构52.1.应用架构52.2.部署模型63.存储方案选择73.1.服务端架构的分类与选择73.1.1.数据块存储73.1.2.数据库83.2.服务端至客户端的连接模型104.存储特性114.1.数据冗余机制114.2.数据分块和去重机制135.安全机制155.1.信道加密165.2.云端（服务端）加密176.应用特色186.1.完善的二次开发体系186.2.开放 API197.硬件要求197.1.服务器兼容性197.2.网络要求208.典型硬件配置219.性能参数221. 产品技术定位金山私有云组成部分，包含云端与终端两块。云端也称为服务端，通常是以多台服务器集群的形式，配合客户端协同工作，向用户提供安全便捷的云存储服务。用户数据集中存储在云端服务器中，并且按照数据量的大小按需调整，体现了数据的集中性和可伸缩性。终端也称为客户端，指运行在最终用户的硬件设备上的应用程序，包括移动平台应用程序、安全云存储数据管理网站，以及运行在个人电脑上的客户端。金山私有云应用场景图2. 技术架构2.1. 应用架构金山私有云总体可以划为应用服务层、存储服务层和基础层：应用服务层：API 业务逻辑存储服务层：底层分布式文件系统、数据库服务基础层：软件（RHEL/CentOS、JVM、MySQL）、硬件（服务器、网络）金山私有云系统架构图2.2. 部署模型金山私有云部署模型金山私有云可以跟据客户的需求，使用LVS或硬件（如F5）实施负载均衡3. 存储方案选择完整的存储方案分为两部分，一为服务端架构，另一部分为服务端至客户端的连接模型。金山云存储在服务端架构、服务端至客户端的抵达方式有完整的解决方案。3.1. 服务端架构的分类与选择3.1.1. 数据块存储数据块存储架构需要解决的问题是数据的可靠安全与容量的按需扩展。一般地分为以下几种：1) 单服务器，一般以 RAID 方案保证数据可靠，容量扩展性差。此类型对于数据增长缓慢、可预期的场合适用。2) 服务器+盘柜，也以 RAID 方案保证数据可靠，有较好的按需扩容能力。服务器与盘柜之间按连接模型可以分为 NAS、SCSI 直连、FC SAN、iSCSI SAN，其中以 iSCSI 连接的方案最为普遍。3) 金山分布式集群文件存储系统。金山集群存储系统将多台存储设备中的存储空间聚合，成为一个能够给应用服务器提供统一访问接口的存储池，应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘，可以充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取，以获得更高的并发访问性能。同时金山集群存储系统采用了自主研发的全系统规模数据高可用技术，彻底消除存储系统中的单点故障，结合特有的自动故障探测和快速故障恢复技术，确保用户的应用持续稳定地运行。金山私有云运行在应用软件层，不但可以很好地支持各种硬件设备，充分利用 RAID 带来安全的冗余机制，而且支持低效的 NAS 连接以外，其他服务器连接方式也同样支持并可混合使用，使得容量扩充变得更加容易和快捷。3.1.2. 数据库金山私有云使用MySQL作为元数据数据库，作为市场上最流行的数据库之一，MySQL在众多核心应用场景中被证实了：1) 具有相当好的扩展性和灵活性，从单机到上千台数据库服务器的规模；2) 具有完善的数据冗余备份、恢复机制，数据安全可以得到可靠的保障；3) 高性能。无论是高速事务处理系统，还是每天高达数十亿次但询的高负截站点，专业的MySQL DBA都可以根据特定的应用特性进行配置，满足系统对性能的高要求。金山私有云可以跟据客户需求，实施以下MySQL结构布署：1) 实施MySQL Master Slave 结构，进行主/从数据库的实时复制备份。MySQL 复制可在各数据库服务器之间创建数据镜像，这是在 MySQL 数据库中实现高可用性的一种最常用的途径。MySQL 复制既支持简单的主从拓扑，也可实现复杂、极具可伸缩性的链式集群，带来极高的性能、扩展力和高可用性。2) 实施"主 Master" - "备 Master" 结构，正常工作时，"主 Master" 通过实时复制数据到 "备 Master"中。在监控发现 "主 Master" 宕机后，"备Master"通过获取虚IP 虚拟IP技术 ，接管MySQL读写服务，从而实现故障转移3) 实施 MySQL Proxy，进行读写分离提高数据库负载能力金山私有云可以跟据客户需求，每日进行数据库全量备份。3.2. 服务端至客户端的连接模型在企业内部，根据实际情况，最为迫切解决以下几个实际需求：1) 集中化，产生的数据要尽快集中到服务端存储，保障数据安全；2) 权限控制，访问的数据需要配置管理，避免信息泄漏；3) 数据分发能力，需要使用的数据，能立即从客户端提取，快捷方便；4) 安全审计，具有数据访问日志记录和查询的能力；5) 协同能力，数据可以共享，并且允许共同编辑维护，提高效率。经常接触到的连接模型按协议分为以下几种：1) FTP 服务，最多企业目前使用的存储方案。优点是有较好的权限控制能力，在数据集中化、数据分发方面需要手动操作，功能较弱，也没有协同处理数据机制。2) Windows文件共享 / NAS / NFS，有即时性的集中化能力，有较好的权限控制能力。缺点为：数据分发能力弱、无协调能力。用户需要使用数据时才通过网络进行分发，导致大数据传送缓慢。大部分连接模型的优先考虑点集中在权限管理与数据集中化，没有妥善处理好集中化与数据分发之间的矛盾。金山私有云在通过自主设计的成熟数据传输引擎，同时达成了集中化与数据即时分发两个目标，并通过用户管理、共享、群组文件、协同编辑等功能，提供优秀的权限管理和协同能力。4. 存储特性4.1. 数据冗余机制存储的核心介质是温氏硬盘 存储介质包括磁带、温氏硬盘、固态硬盘。磁带不支持随机存取，固态硬盘的技术和价格未成熟，温氏硬盘是大数据量存储的唯一选择。硬盘厂商标称无故障运行时间约为100-150 万小时，而实际失效率约为为标称值的 15 倍 参考 http：/www.usenix.org/events/fast07/tech/schroeder.html，由 CMU 于 2007 年 5th USENIX Conference（FAST07）发布论文，对约 10 万块硬盘进行研究后得出的结论。另外目前硬盘厂商的标称年失效率为0.7%左右，参考希捷、西部数据的官方资料，实际年失效几率超过 1%。在存储介质可靠性不高的情况下，任何商用环境都需要使用冗余策略来保证数据的安全可靠：1) 硬件方式：RAID 磁盘阵列，使用镜像盘或校验盘作为冗余，在数据损坏时使用冗余盘进行修复2) 软件方式：使用分布式文件系统软件，在服务器集群上复制出同一数据的多个镜像，在数据损坏时丢弃坏镜像再复制新镜像冗余策略能减少数据丢失几率，最终失效率由冗余倍数与单个冗余的重建时间决定。需指出，重建过程中因大量数据频繁读写，其失效率会大幅上升。与存储系统可靠性相关的有以下参数，由此可推定其年失效率（计算过程进行了部分简化，不影响结论）：1) 总可用容量为 A2) 单盘容量 C3) 冗余倍数 N。1 为无冗余4) 单盘年失效率 F5) 单冗余重建时间为 Y 年。一般若干小时，以年记公式更直观6) 重建时单盘失效率上升至 M 倍设容量为 C 的数据作为一个冗余组，其年失效率为 FA；存储系统的年失效率为 FF设冗余组中有 1 个盘出故障的年几率为 R1， 1 个盘出故障后的修复过程中第 2 个盘坏的年几率为 R2，类推得 R3、R4.RN，可知 RN 即为 FA冗余倍数为 N，有 R1 = N * FR2 为 R1 的条件概率，有 R2 = R1 * （N - 1） * F * Y * M类推并展开，得 FA = RN = N! * F N * （Y * M） （N - 1）FF 为 F1 概率之和，有 FF = FA * A / C最终得存储系统整体年失效率 FF = N! * F N * （Y * M） （N - 1） * A / C实际用况中的典型数据： 单盘 2T， 年失效率 1%，重建时间按 24 小时算，重建时失效率上升一个数量级，由此计算一个冗余组的年失效率：1) 无冗余：N=1，年失效率 1%2) RAID5：N<2，年失效率高于 RAID13) RAID1：N=2，年失效率 2.7% * 1% 2 * 24) 3 倍冗余：N=3，年失效率 2.7% 2 * 1% 3 * 6可见 2 倍冗余已经可以获得很好的数据保障，但在 PB 级数据以上时，仍存在有数据丢失的隐患。例如 2PB 数据的存储系统，其 RAID1 方案失效率为 2TB 数据的失效率的 1000 倍，约 0.5%。在 3 倍冗余策略下，失效率比2 倍冗余降低了几个数量级，数据可认为永不丢失，广泛用于业界多种成熟存储方案 Google 公司的内部存储系统 GFS 使用 3 倍冗余，Hadoop 的分布式存储系统 HDFS 推荐使用 3 倍冗余，亚马逊云存储 S3 的存储方案根据不同的 SLA 实施不低于 3 倍的冗余。金山私有云使用软件方式维护数据镜像，服务器的部署上推荐使用3 倍冗余方案，以保证用户数据安全。4.2. 数据分块和去重机制企业数据在流转过程中同份文件会产生多个相同副本，由不同员工持有。按金山公司在互联网的运营统计数据，纯文档性质数据重复度在 15%-30%，全部数据重复度是此数据的 2 倍。金山私有云能通过计算出新文件块的摘要值 信息摘要是使用摘要算法计算出的一段数据的摘要值。一般地，不同的数据计算出的摘要值也不同，因此摘要值可唯一地标识这段数据内容。金山私有云使用美国国家标准技术研究所 NIST 设计 SHA1算法为摘要算法，冲突率极小，参考 http：/csrc.nist.gov/publications/fips/fips180-2/fips180-2withchangenotice.pdf，自动地进行重复数据的合并，提高存储空间利用率，节省硬件设备资源。云端存储文件数据时，将文件信息、属性与文件内容数据分离存储。文件信息属性称为元数据。文件内容数据以固定大小切割成块，称为块数据，块数据以其内容摘要值为标识，元数据通过引用块数据的标识进行关联。多个数据内容相同的文件，在金山私有云内是不同的多个文件，有各自的拥有者、共享等属性，仅共用数据内容。如果其中一个文件进行了修改，则被修改文件不再引用此数据内容，此文件与其他曾共用数据的文件间不再有任何关联。被引用的文件数据有引用计数属性，记录其内容属于多少个文件，当同样内容的文件增加时，此引用计数增加。当同样内容的文件被彻底