Ceph原理描述

1、Ceph原理描述Ceph原理描述1CEPH的介绍2CEPH的优缺点4ceph如何存取对象文件5（1）File - object映射6（2）Object - PG映射7（3）PG - OSD映射7Ceph的强一致写入8Ceph的读取9Ceph CRUSH数据分布算法9Ceph网络配置参考11CEPH支持的主要功能12Ceph的Journal功能12Ceph Pools12分层缓存12条带化14数据的重新平衡16数据恢复16数据清洗17扩展Ceph17CEPH测试性能（初级版本）18CEPH的Roadmap18关于bluestore18关于RBD Mirror19关于压缩20关于加密20关于去重20关于Qos21CEPH的介绍Ceph是一个软件分布式存储平台。在2004年，由Sage Weil开发了Ceph，并于2006年，基于开源协议开源了Ceph。2012年，Ceph的发布了第一个稳定版本。2016年4月16号，cephv10.2.1 Jewel 版本发布。Ceph通过统一的底层RADOS向上支持统一存储,目前支持3类存储接口，分别是“对象存储（RADOSGW）”，“块存储（RBD）”

2、，“文件系统（CEPH FS）”Ceph的总体框架图如下示：LIBRADOS 主要解决多语言与RADOS（可靠，自主分布式对象存储）间的互访问题，目前支持 C,C+,java,python,Ruby及PHP语言RADOSGW 主要解决与REST API的交互问题，当前支持S3,Swift定义的APIRBD 主要面向QEMU/KVM 提供块设备存取CEPH FS 则是一种POSIX兼容的文件，并且支持FUSE(Filesystem in Userspace: 用户空间文件系统）RADOS 则是整个系统的底层，实现统一的存取。RADOS由主要由三部分组成：Monitor:常称之为MON,是ceph中的监控进程，它主要负责：1. 收集所有OSD的状态并与其它MON一起维护集群的映射信息2. 支持通过启用多个MON保证服务高可用3. 响应其它client对集群映射信息的请求。OSD：Object Storage Device1. 与逻辑磁盘进行交互，完成数据的读写，恢复，校验,重新平衡等。2. 检测自已的状态 ，及检查其它OSD的状态，并主动上报给MonitorMDS: MDS是CEPH FS

3、使用的元数据（metadata）服务守护进程，如果不使用CEPH FS,则MDS没有存在的必要，依据官方文档： 说明，当前不建意在生产环境中部署多个MDS。CEPH的优缺点优点：1. 统一存储架构(Block/File/Object)，易于与openstack进行整合，整合后Nova, Glance, Cinder之间没有数据传输，快速创建虚拟机，运维方面只需要管理一个统一存储。目前此方案在openstack社区目前呼声较高。2. 支持快照，配额，动态伸缩，数据负载均衡。3. 无中心化，扩展性好。monitor维护的数据信息并不多，故大规模部署时，osd可以变得很大,达到上千的osd时,monitor维护的信息也不会很多。且越大规模，条带化效果越好。目前Ceph最大的用户案例是Dreamhost的Object Service，目前总容量是3PB，可靠性达到99.99999%，数据存放采用三副本，它的价格比S3还便宜。4. 自管理。恢复不需要人工介入，在恢复期间，可以保持正常的数据访问。当组件发生故障时，自动进行数据的重新复制。当组件发生变化时(添加/删除)，自动进行数据的重分布5. 经

4、过调优后的性能不错，按照和有云交流获得的数据，基本可以达到SSD的物理速度。6. 社区比较成熟（ 会列出截止当天的统计信息，从图中可以看出自2015年8月至今下载量比较大）Ceph被下载的统计Ceph提交及开发人员数目缺点：1. 代码实现比较复杂，引入了STL及boost库,学习成本较高。2. Ceph本身提供的安装版本，效率并不高，但其拥有非常丰富的可调参数（这也是学习成本的一部分），利用这些参数不断调优，可以达到高效率。调优在没有外部培训的情况下，只能是一个摸索的过程。3. IO路径比较复杂，一次IO处理需要经历多个线程处理。4. Ceph FS 目前不太成熟，MDS无法大规模部署。（见官方：ceph如何存取对象文件ceph的三次映射如上图示：File file就是用户需要存储或者访问的文件。对于一个基于Ceph开发的对象存储应用而言，这个file也就对应于应用中的“对象”，也就是用户直接操作的“对象”。Ojbect object是RADOS所看到的“对象”。Object与上面提到的file的区别是，object的最大size由RADOS限定（通常为 2MB或4MB），以便实现底层

5、存储的组织管理。当上层应用向RADOS存入size很大的file时，需要将file切分成统一大小的一系列 object（最后一个的大小可以不同）进行存储。PG（Placement Group） PG的用途是对object的存储进行组织和位置映射。一个PG负责组织若干个object（可以为数千个甚至更多），但一个 object只能被映射到一个PG中，即，PG和object之间是“一对多”映射关系。同时，一个PG会被映射到n个OSD上，而每个OSD上都会承载 大量的PG，即，PG和OSD之间是“多对多”映射关系。在实践当中，n至少为2，如果用于生产环境，则至少为3。一个OSD上的PG则可达到数百个。OSD 即object storage device，前文有说明，用于实现object的存放读写等工作，是具体干活的。在实现对象存取时，一个文件一般要经过三次映射（1） File - object映射为了方便RADOS存取,需要将用户可操作的file映射为object。处理上就是按照object的最大size 对file进行切分。每一个切分后产生的object将获得唯一的编号，常称之为oid，即

6、object id。图中的ino是待操作file的元数据，可以简单理解为该file的唯一id（目前未分析这一数据存储的具体位置）。ono则是由该file切分产生 的某个object的序号。从元组（ino,ono）到oid的映射比较简单（实际上在ceph中随处可见这样的映射处理）,直接将ino及non连接起来，就构成了oid.（2） Object - PG映射接下来需要将object映射到PG，这一步映射公式大致如下示：hash(oid) & mask - pgid首先是使用Ceph系统指定的一个静态哈希函数计算oid的哈希值，然 后，将这个伪随机值和mask按位相与，得到最终的PG序号（pgid）。由于同一个Pool(关于pool的概念下文叙述，目前仅需要知道pool抽象了一组PG)内PG给定的PG总数为m（m应该为2的整数幂），则mask 的值为m-1。（3） PG - OSD映射第三次映射就是要决定把这个PG内需要存取object的任务交给哪个OSD来进行处理。如图所示，RADOS采用一个名为CRUSH的算法，将 pgid代入其中，然后得到一组共n个OSD。这n个OSD即共同负责存

7、储和维护同一个PG中的所有object。N的数量在这里就是副本的数量。注意CRUSH算法的结果不是绝对不变的，一般它会受几个因素影响：一， 系统状态变化，例如osd数量发生了增减，为了保持数据的平衡，PG与OSD之间的映射会发生变化。二， 存储策略配置变化，例如管理员修改了CRUSH rule（当然，在实际的生产系统中，策略一般不需要轻易进行改变）。Ceph的强一致写入client经过上面的三次映射，就获得了如下信息： 要存放的object数据 数据需要存放的osd 数据需要存放的pg如上图示，client依据CRUSH算法的返回的osd信息，取第一个osd，命名为primary osd(1) client将直接和Primary OSD通信，发起写入操作,如步骤（1）(2) Primary OSD收到请求后，分别向Secondary OSD和Tertiary OSD发起写入操作，如步骤（2，3）(3) 当Secondary OSD和Tertiary OSD各自完成写入操作后，将分别向Primary OSD发送确认信息（步骤4、5）(4) 当Primary OSD确信其他两个OSD的写入

8、完成后，则自己也完成数据写入，并向client确认object写入操作完成（步骤6）。Ceph的读取与写入类似，client依据CRUSH算法返回的osd信息，取第一个osd,命名为Primary osd,并直到于primary osd进行通信，primary osd收到信息后，直接将信息读取到，并返回给client.注意，目前的Ceph设计中，被读取的数据仅由Primary OSD提供。但目前也有分散读取压力以提高性能的讨论。Ceph CRUSH数据分布算法CRUSH是ceph的一个模块，它本身是可扩展的伪随机（确定性的）数据分布算法，主要解决可控、可扩展、去中心化的数据副本分布问题。CRUSH算法有以下几个优点 任何组件都可以独立计算出每个object所在的位置(去中心化)。 只需要很少的元数据(cluster map)，只要当删除添加设备时，这些元数据才需要改变。如上文提到的一样，CRUSH算法用于依据PG获取到一组OSD列表。CRUSH算法主要有两个内容a) 定义cluster mapCeph可以将系统的所有硬件资源描述成一个树状结构（例如不同区域，不同的机架，不同的主机等等，ceph预定义了10种类型），然后再基于这个结构按照一定的容错规则生成一个逻辑上的树形结构作为Crush map。Crush map的叶子节点就是OSD.如下图示b) 定义crush 规则有了树形的Crush map，如何一步一步从中选出最终的叶子节点OSD,这个就是由rule来定义。一个合法的rule的定义是这样的：rule replicated_ruleset ruleset 0 #ruleset id,表明这个rule属于哪个ruleset type replicated #表示此rule在哪可使用，像本例，在副本模式下使用。 min_size 1 #与max_size一起限定rule使用范围，#即当副本大于等于1，并且小于等于10时适用本规则 max_size 10 step take default #如果本规则适用，自crush map的哪个#节点开始查找合适的osd,像本例，将从default位置开始查找。

《Ceph原理描述》由会员添***分享，可在线阅读，更多相关《Ceph原理描述》请在金锄头文库上搜索。