云计算系列教程9PPT课件.ppt

HBASE 1内容提要内容提要为什么需要为什么需要HBaseHBaseHTableHTable的逻辑组织的逻辑组织HBaseHBase的运行机制的运行机制HBaseHBase与与 HDFSHDFSHBaseHBase的对外接口的对外接口2引入引入HBASE的原因的原因数据库系统已无法适应大型分布式数据存数据库系统已无法适应大型分布式数据存储的需要储的需要改良的关系数据库（副本、分区等）难于改良的关系数据库（副本、分区等）难于安装与维护安装与维护关系模型对数据的操作使数据的存贮变得关系模型对数据的操作使数据的存贮变得复杂复杂3引入引入HBASE的原因的原因HBASEHBASE从设计理念上就为可扩展做好了充从设计理念上就为可扩展做好了充分准备分准备空间的扩展只需要加入存储结点空间的扩展只需要加入存储结点使用使用‘‘表表’’的概念，但不同于关系数据库，的概念，但不同于关系数据库，不支持不支持SQLSQL实质上是一张极大的、非常稀疏的，存储实质上是一张极大的、非常稀疏的，存储在分布式文件系统上的表在分布式文件系统上的表4HBaseHBase历史历史20062006年底由年底由PowerSet PowerSet 的的Chad WaltersChad Walters和和Jim Jim Kellerman Kellerman 发起发起20082008年成为年成为Apache HadoopApache Hadoop的一个子项目的一个子项目现已作为产品被使用现已作为产品被使用WorldLingoWorldLingoSSOpenPlacesOpenPlacesYahooYahooAdobeAdobe5HBASEHBASE用例－用例－WebTableWebTable存储抓取网页和相关信息存储抓取网页和相关信息每个页面对应一行，是个有百万行的大表每个页面对应一行，是个有百万行的大表要基于此表进行分析与解析并由搜索引擎要基于此表进行分析与解析并由搜索引擎对关键字进行索引对关键字进行索引表需要并发地被众多网页抓取程序随机地表需要并发地被众多网页抓取程序随机地访问以及更新数据访问以及更新数据表内容也要作为网页实时缓存被大量用户表内容也要作为网页实时缓存被大量用户随机访问随机访问6逻辑视图逻辑视图Row KeyTime StampColumn ContentsColumn AnchorColumn “mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“.. “Text/htmlT5“.. “t3“.. “7数据模型－行数据模型－行Row KeyTime StampColumn ContentsColumn AnchorColumn “mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“.. “Text/htmlT5“.. “t3“.. “行键列列8数据模型－行数据模型－行每行数据有一可排序的关键字和任意列项每行数据有一可排序的关键字和任意列项字符串、整数、二进制串甚至与串行化的字符串、整数、二进制串甚至与串行化的结构都可以作为行键结构都可以作为行键表按照行键的表按照行键的““逐字节排序逐字节排序””顺序对行进顺序对行进行有序化处理行有序化处理表内数据非常表内数据非常‘‘稀疏稀疏’’，不同的行的列的，不同的行的列的数完全目可以大不相同数完全目可以大不相同9数据模型－行数据模型－行可以只对一行上可以只对一行上““锁锁””对行的写操作是始终是对行的写操作是始终是““原子原子””的的10数据模型－列数据模型－列列必须用列必须用‘‘族族’’(family)(family)来定义来定义任意一列有如下形式任意一列有如下形式““族：标签族：标签””其中，族和标签都可为任意形式的串其中，族和标签都可为任意形式的串物理上将同物理上将同““族族””数据存储在一起数据存储在一起数据可通过时间戳区分版本数据可通过时间戳区分版本11数据模型－列数据模型－列Row KeyTime StampColumn ContentsColumn AnchorColumn “mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“.. “Text/htmlT5“.. “t3“.. “族标签12物理视图物理视图Row KeyTime StampColumn: ContentsCn.wwwT6“..”T5“..”T3“..”Row KeyTime StampColumn: AnchorCn.wwwT9Anchor:CNNT5Anchor:my.look.caCNN.COMRow KeyTime StampColumn: mimeCn.wwwT6text/html13HTableHTable小结小结Row KeyTime StampColumn ContentsColumn AnchorColumn “mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“.. “Text/htmlT5“.. “t3“.. “14系统总体结构系统总体结构HDFSClusterZoo KeeperClusterRegionServerRegionServerRegionServerMasterServerHStoreMap FilesHStoreMap FilesRegion15数据存储实体－区域数据存储实体－区域表按照表按照““水平水平””的方式划分成一个或多个的方式划分成一个或多个““区域区域””(region)(region)每个区域都包含一个随机每个区域都包含一个随机id id，区域内的行也，区域内的行也是按行键有序的是按行键有序的最初每张表包含一个区域，当表增大超过最初每张表包含一个区域，当表增大超过阈值后，这个区域被自动分割成两个相同阈值后，这个区域被自动分割成两个相同大小的区域大小的区域区域以分布式的方式分布在集群内区域以分布式的方式分布在集群内16区域的管理区域的管理区域服务器区域服务器(Region Server)(Region Server)³为区域的访问提供服务，直接为用户提供服务为区域的访问提供服务，直接为用户提供服务³负责维护区域的分割负责维护区域的分割³负责数据存持久化负责数据存持久化主服务器主服务器(Master Server)(Master Server)³管理区域服务器管理区域服务器³指派区域服务器对服务特定区域指派区域服务器对服务特定区域³恢复失效的区域服务器恢复失效的区域服务器17特殊目录数据特殊目录数据元数据元数据(META)(META)³全部用户区域的属性数据都存在元数据表中全部用户区域的属性数据都存在元数据表中³包括区域中数据起止行信息、区域包括区域中数据起止行信息、区域““””状状态等态等³保存区域服务器地址保存区域服务器地址³元数据表也可包含多个区域，区域属性数据存元数据表也可包含多个区域，区域属性数据存储在储在““根根””结点上结点上18特殊目录数据特殊目录数据““根根””表表(ROOT)(ROOT)³只存包含一个区域只存包含一个区域³将元数据中的区域映射到区域服务器将元数据中的区域映射到区域服务器³存储元数据服务器位置以及映射了哪些元数据存储元数据服务器位置以及映射了哪些元数据区域区域19区域服务器区域服务器(Region Server)(Region Server)职职能能负责处理用户的读写请求负责处理用户的读写请求向主服务器向主服务器(Master Server)(Master Server)上报自己的状态，上报自己的状态，并获取自己需要服务的区域并获取自己需要服务的区域为提高效率，消息通过捎带为提高效率，消息通过捎带(pigback)(pigback)方式通方式通过过““心跳心跳””分组进行传递分组进行传递20区域服务器－区域服务器－““写写””写数据首先写入写数据首先写入““预写预写””日志日志对于一个区域服务器而言，对其提供服务对于一个区域服务器而言，对其提供服务的所有区域的的所有区域的““写写””操作日志都存储在同操作日志都存储在同一个日志中一个日志中数据并非直接写文件系统，而是先缓存，数据并非直接写文件系统，而是先缓存，缓存到一定数量再批量写入缓存到一定数量再批量写入写入完成后在日志中做标记写入完成后在日志中做标记21区域服务器－区域服务器－““读读””区域服务器现在内存的缓存中查找，如果区域服务器现在内存的缓存中查找，如果命中请求，则直接服务命中请求，则直接服务如果存在多个版本，则返回顺序按照从最如果存在多个版本，则返回顺序按照从最新到最老新到最老22区域服务器－合并区域服务器－合并如果映射文件如果映射文件(Map File)(Map File)数量超过阈值，区数量超过阈值，区域服务器会进行一次合并域服务器会进行一次合并(Compaction)(Compaction)合并操作也周期性进行合并操作也周期性进行合并可与区域服务器响应用户的读写请求合并可与区域服务器响应用户的读写请求并发进行并发进行如果读写请求与合并区域相关，读写操作如果读写请求与合并区域相关，读写操作先挂起，直到合并操作完成先挂起，直到合并操作完成23区域服务器－分割区域服务器－分割当区域文件大过阈值后，区域文件会按照当区域文件大过阈值后，区域文件会按照行的方式对半进行分割行的方式对半进行分割(Split)(Split)操作操作分割也作为一种请求被区域服务器处理分割也作为一种请求被区域服务器处理被分割区域先离线被分割区域先离线区域服务器在元信息表中生成子表元信息区域服务器在元信息表中生成子表元信息主服务器在得知分割操作进行后，将子表主服务器在得知分割操作进行后，将子表分配给新的区域服务器进行服务分配给新的区域服务器进行服务被分割区域通过垃圾回收机制回收被分割区域通过垃圾回收机制回收24区域服务器－分割区域服务器－分割如果主服务器没能正确收到分割消息，主如果主服务器没能正确收到分割消息，主服务器可通过定期检查服务器可通过定期检查MATAMATA数据发现分割数据发现分割操作操作开始分割操作后，被分割区域离线，此时开始分割操作后，被分割区域离线，此时客户端能检测到并在分割后的区域上线后客户端能检测到并在分割后的区域上线后重发访问请求重发访问请求25失效恢复失效恢复由于检测没有心跳，主服务器能够探知区由于检测没有心跳，主服务器能够探知区域服务器的失效域服务器的失效主服务器将失效服务器所提供服务的区域主服务器将失效服务器所提供服务的区域重新分配给其它区域服务器重新分配给其它区域服务器原失效区域服务器的原失效区域服务器的““预写预写””日志由主服日志由主服务器进行分割并派送给新的区域服务器务器进行分割并派送给新的区域服务器26客户端客户端连接到连接到ZooKeeperZooKeeper集群获取根区域数据和元集群获取根区域数据和元数据的位置数据的位置在元数据中查找需要访问行所在的区域并在元数据中查找需要访问行所在的区域并定位提供该区域服务的区域服务器定位提供该区域服务的区域服务器直接与区域服务器交互以获取数据直接与区域服务器交互以获取数据根区域数据、元数据以及用户区域信息都根区域数据、元数据以及用户区域信息都被客户端缓存以备下次访问使用被客户端缓存以备下次访问使用27系统总体结构系统总体结构HDFSClusterZoo KeeperClusterRegionServerRegionServerRegionServerMasterServerHStoreMap FilesHStoreMap FilesRegion28HBaseHBase安装安装需要需要ZooKeeperZooKeeper支持支持本身带本身带zookeeper.jarzookeeper.jar包包步骤步骤³解压，并添加支撑的解压，并添加支撑的.jar.jar包到用户包到用户CLASS_PATHCLASS_PATH³修改修改confconf下下®hbase-env.sh, regionservershbase-env.sh, regionservers®Hbase-site.xmlHbase-site.xml³启动启动Hbase: bin/start-hbase.shHbase: bin/start-hbase.sh29HBase ShellHBase Shell启动启动³bin/hbase shellbin/hbase shell主要命令主要命令³create create 创建表创建表³describe describe 描述表描述表³enable/disable enable/disable 表激活表激活/ /取消取消³drop drop 删除表删除表³get/put get/put 表读写表读写30HBase APIHBase APIHBaseConfigurationHBaseConfiguration³addResource(…)addResource(…)HTableHTable³put(…)put(…)³get(…)get(…)ResultScannerResultScanner³next(…)next(…)31HBaseHBase与与HDFSHDFS如果使用如果使用HDFSHDFS需要配置需要配置RegionServerRegionServer，定位，定位存储位置为存储位置为HDFSHDFS服务服务³/conf/hbase-site.xml³定义定义hbase.rootdir值，指向值，指向HDFS服务服务,如：如：hdfs://hdfs_server:port/hbase_root32HBaseHBase与其它文件系统与其它文件系统HBaseHBase可以使用其它分布式文件系统可以使用其它分布式文件系统³mountmount至挂载点，如至挂载点，如/mnt/mydfs/mnt/mydfs³定义定义hbase.rootdir值，指向挂载点，如值，指向挂载点，如 file:///mnt/mydfs/hbase_root33。