列式存储 HBase 系统架构学习

1、北大青鸟中关村学士后本部 北京市海淀区中关村大街 49 号大华科技商厦 A 座 2 层列式存储 HBase 系统架构学习一、Hbase 简介HBase 是一个开源的非关系型分布式数据库（NoSQL） ，它参考了谷歌的 BigTable 建模，实现的编程语言为 Java。它是 Apache 软件基金会的 Hadoop 项目的一部分，运行于 HDFS 文件系统之上，为 Hadoop 提供类似于 BigTable 规模的服务。因此，它可以容错地存储海量稀疏的数据。HBase 在列上实现了 BigTable 论文提到的压缩算法、内存操作和布隆过滤器。HBase 的表能够作为 MapReduce 任务的输入和输出，可以通过 Java API 来存取数据，也可以通过REST、Avro 或者 Thrift 的 API 来访问。 维基百科Hbase 是 bigtable 的开源版本，是建立的 hdfs 之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于 nosql 和 RDBMS 之间，仅能通过主键(row key)和主键的 range 来检索数据，仅支持单行事务(可通过 hiv

2、e 支持来实现多表 join 等复杂操作)，主要用来存储非结构化和半结构化的松散数据。与 hadoop 一样，Hbase 目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。Hbase 中的表一般有这样的特点：大：一个表可以有上亿行，上百万列面向列:面向列(族)的存储和权限控制，列(族)独立检索。稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。下面一幅图是 Hbase 在 Hadoop Ecosystem 中的位置。the-hadoop-ecosystem.png二、逻辑视图北大青鸟中关村学士后本部 北京市海淀区中关村大街 49 号大华科技商厦 A 座 2 层Hbase 以表的形式存储数据。表有行和列组成。列划分为若干个列族(row family)column-design.pngRow Key:与 nosql 数据库们一样,row key 是用来检索记录的主键。访问 Hbase table 中的行，只有三种方式：通过单个 row key 访问通过 row key 的 range全表扫描Row key 行键 (Row key)可以是任

3、意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在 Hbase 内部，row key 保存为字节数组。存储时，数据按照 Row key 的字典序(byte order)排序存储。设计 key 时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)字典序对 int 排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用 0 作左填充。行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。列族:Hbase 表中的每个列，都归属与某个列族。列族是表的 chema 的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如 courses:history，courses:math 都属于 courses 这个列族。访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应北大青鸟中关村学士后本部 北京市海淀区中关村大街 49 号大

4、华科技商厦 A 座 2 层用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据(甚至可能因为隐私的原因不能浏览所有数据)。时间戳:Hbase 中通过 row 和 columns 确定的为一个存贮单元称为 cell。每个 cell 都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64 位整型。时间戳可以由Hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个 cell 中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，Hbase 提供了两种数据版本回收方式。一是保存数据的最后 n 个版本，二是保存最近一段时间内的版本(比如最近七天)。用户可以针对每个列族进行设置。Cell:由row key, column(= + ), version 唯一确定的单元。cell 中的数据是没有类

5、型的，全部是字节码形式存贮。三、物理存储1 、已经提到过，Table 中的所有行都按照 row key 的字典序排列。2 、Table 在行的方向上分割为多个 Hregion。hregion.png3、region 按大小分割的，每个表一开始只有一个 region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，Hregion 就会等分会两个新的 Hregion。当 table 中的行不断增多，就会有越来越多的 Hregion。北大青鸟中关村学士后本部 北京市海淀区中关村大街 49 号大华科技商厦 A 座 2 层mulity-hregion.png4、HRegion 是 Hbase 中分布式存储和负载均衡的最小单元。最小单元就表示不同的Hregion 可以分布在不同的 HRegion server 上。但一个 Hregion 是不会拆分到多个 server上的。regionservers.png5、HRegion 虽然是分布式存储的最小单元，但并不是存储的最小单元。事实上，HRegion由一个或者多个 Store 组成，每个 store 保存一个 columns fa

6、mily。每个 Strore 又由一个 memStore 和 0 至多个 StoreFile 组成。如图：StoreFile 以 HFile 格式保存在 HDFS 上。storeFile.pngHfile 的格式如下图所示：Hfile.pngHFile 分为六个部分：Data Block 段保存表中的数据，这部分可以被压缩。Meta Block 段 (可选的)保存用户自定义的 kv 对，可以被压缩。File Info 段Hfile 的元信息，不被压缩，用户也可以在这一部分添加自己的元信息。Data Block Index 段Data Block 的索引。每条索引的 key 是被索引的 block 的第北大青鸟中关村学士后本部 北京市海淀区中关村大街 49 号大华科技商厦 A 座 2 层一条记录的 key。Meta Block Index 段 (可选的)Meta Block 的索引。Trailer 这一段是定长的。保存了每一段的偏移量，读取一个 HFile 时，会首先读取 Trailer，Trailer 保存了每个段的起始位置(段的 Magic Number 用来做安全 check)，然

7、后，DataBlock Index 会被读取到内存中，这样，当检索某个 key 时，不需要扫描整个HFile，而只需从内存中找到 key 所在的 block，通过一次磁盘 io 将整个 block 读取到内存中，再找到需要的 key。DataBlock Index 采用 LRU 机制淘汰。HFile 的 Data Block，Meta Block 通常采用压缩方式存储，压缩之后可以大大减少网络 IO和磁盘 IO，随之而来的开销当然是需要花费 cpu 进行压缩和解压缩。目前 Hfile 的压缩支持两种方式：Gzip，Lzo。hfile-data.jpg首先 HFile 文件是不定长的，长度固定的只有其中的两块：Trailer 和 FileInfo。正如图中所示的，Trailer 中有指针指向其他数据块的起始点。File Info 中记录了文件的一些Meta 信息，例如：AVG_KEY_LEN, AVG_VALUE_LEN, LAST_KEY, COMPARATOR, MAX_SEQ_ID_KEY 等。Data Index 和 Meta Index 块记录了每个 Data 块和 Meta

8、块的起始点。Data Block 是 HBase I/O 的基本单元，为了提高效率，HRegionServer 中有基于 LRU 的Block Cache 机制。每个 Data 块的大小可以在创建一个 Table 的时候通过参数指定，大号的 Block 有利于顺序 Scan，小号 Block 利于随机查询。每个 Data 块除了开头的 Magic 以外就是一个个 KeyValue 对拼接而成, Magic 内容就是一些随机数字，目的是防止数据损坏。后面会详细介绍每个 KeyValue 对的内部构造。HFile 里面的每个 KeyValue 对就是一个简单的 byte 数组。但是这个 byte 数组里面包含了很多项，并且有固定的结构。我们来看看里面的具体结构：hfile-datasturce.jpg开始是两个固定长度的数值，分别表示 Key 的长度和 Value 的长度。紧接着是 Key，开始北大青鸟中关村学士后本部 北京市海淀区中关村大街 49 号大华科技商厦 A 座 2 层是固定长度的数值，表示 RowKey 的长度，紧接着是 RowKey，然后是固定长度的数值，表示 Family

9、的长度，然后是 Family，接着是 Qualifier，然后是两个固定长度的数值，表示Time Stamp 和 Key Type（Put/Delete） 。Value 部分没有这么复杂的结构，就是纯粹的二进制数据了。HLog(WAL log)：WAL 意为 Write ahead log(http:/en.wikipedia.org/wiki/Write-ahead_logging)，类似 mysql 中的 binlog,用来做灾难恢复只用，Hlog 记录数据的所有变更,一旦数据修改，就可以从 log 中进行恢复。每个 Region Server 维护一个 Hlog,而不是每个 Region 一个。这样不同 region(来自不同table)的日志会混在一起，这样做的目的是不断追加单个文件相对于同时写多个文件而言，可以减少磁盘寻址次数，因此可以提高对 table 的写性能。带来的麻烦是，如果一台region server 下线，为了恢复其上的 region，需要将 region server 上的 log 进行拆分，然后分发到其它 region server 上进行恢复。hlogfile-struc.jpgHLog 文件就是一个普通的 Hadoop Sequence File，Sequence File 的 Key 是 HLogKey 对象，HLogKey 中记录了写入数据的归属信息，除了 table 和 region 名字外，同时还包括 sequence number 和 timestamp，timestamp 是”写入时间” ，sequence number 的起始值为0，或者是最近一次存入文件系统中 sequence number。HLog Sequece File 的 Value 是Hbase 的 KeyValue 对象，即对应 HFile 中的 KeyValue，可参见上文描述。四、系统架构hbase-arch.jpgClient：包含访问 Hbase 的接口，client 维护着一些 cache 来加快对 Hbase 的访问，比如 regione北大青鸟中关村学士后本部 北京市海淀区中关村大街 49 号大华科技商厦 A 座 2 层的位置信息。Zookeeper：保证任何时候，集群中只有一个 master存贮所有 Region

《列式存储 HBase 系统架构学习》由会员ji****72分享，可在线阅读，更多相关《列式存储 HBase 系统架构学习》请在金锄头文库上搜索。