分布式数据库 Hbase 的高可用管理和监控

网址：网址：edu.51CTO.com分布式数据库分布式数据库 HbaseHbase 的高可用管理和监控的高可用管理和监控ApacheApache HBaseHBase 的基本知识的基本知识2006 年 11 月，Google 发表了一篇名为 BigTable 论文 , 2007 年 2 月，Hadoop 的开发人员对其进行实现并命名为 HBase。 HBase 是基于 Hadoop 之上的一种新型的基于列存储的开源数据存储架构，用于解决大数据问题，是 Hadoop 的分布式数据库。HBase 现在已经比较成熟，最新的稳定版本是 0.94.x。HBase 已经被很多大公司采用，如 Facebook, Twitter，Adobe, Cloudera, IBM, 等等。HBase 不是传统 RDBMS 意义上的基于列的数据库，而是利用磁盘进行列存储格式的数据库，其优势在于提供基于关键字的特定列和顺序范围的快速访问。HBase 有三个重要的组件：客户端库，一个 master server（可以配置多个备用 master，后文将对此进行详细描述）以及多个 Region Server。Master 负责分配 Region 到各个不同的 Region Server 上，Region Server 负责存储实际的数据。同时，HBase 通过使用 ZooKeeper，一种可靠，高可用，一致性的分布式协同服务来帮助其完成相应的任务。HBase 集群管理员可以通过在系统运行过程中添加和删除 Region Server 节点来调节改变工作负载。HBase 以 HFile 作为存储数据的基本格式，其底层的文件系统默认采用 HDFS。图 1. HBases 基本架构网址：网址：edu.51CTO.com图 1. 显示了不同的组件如 HDFS，Zookeeper 是怎样与 HBase 一起协调工作的。Master Server 负责处理跨 Region Server 的 regions 数据的导入平衡，卸载繁忙的 Region Server 负担，将 region 转移到更空余的 Region Server 上。HBase Master 不负责实际的数据存储，它协调导入平衡，维护集群的状态，维护 schema 的更改和 metadata 元数据操作，如创建表和列族（column families），但从不提供任何数据服务。Region servers 负责加载和维护 region，包括处理对其管理的 region 的所有读写请求，以及 region 大小增长到超过配置阀值的时候对其进行切分。客户端通过与 Zookeeper 通信获取到其需要进行读写操作的 region 所在的 Region Server 之后，将直接与 Region Server 通信，并由 Region Server 处理所有相关的请求。IBMIBM BigInsightsBigInsights 架构中的架构中的 HBaseHBaseIBM Big Data（大数据）产品 InfoSphere BigInsights 是大数据管理与分析平台， 其底层架构也采用了 Hadoop 和 HBase 对结构化和非结构化数据进行存储和查询。BigInsightsz 集群软件层次中的 HBaseBigInsights 整合了很多已有的 Hadoop 开源组件，如 HDFS, MapReduce, HBase, Zookeeper 等，将它们很好的融入 BigInsights 软件体系，并与其他 BigInsights 的组件一起协同工作在同一个平台上。 HBase 被用作 BigInsights 的存储数据库，Zookeeper 被用作 BigInsights 的服务协同组件。如果要使用 HBase, 我们需要同时安装 Hadoop, Zookeeper, 因为 HBase 采用 Hadoop 作为其文件系统，采用 Zookeeper 作为其服务协同支持。当把 BigInsights 部署到一个集群上时，软件层次的结构如图 2. 所示：网址：网址：edu.51CTO.com图 2. BigInsights 中 Hadoop 开源组件列表HBaseHBase 安装和配置安装和配置BigInsights 产品集成了经过 IBM JDK 编译和一定改进扩展后的 HBase。在 BigInsights 产品的安装过程中可以通过安装界面选择和配置 HBase, 配置内容包括指定 HBase 安装路径，日志目录，指定集群中 HBase Master 和 HBase Regionservers 节点以及服务端口。HBase 的二进制软件包默认安装和配置在 BigInsights 集群的所有节点上，也就是说安装完 BigInsights 以后的每个 BigInsights 节点都可以作为 HBase 的客户端使用。在安装 BigInsights 之前，需要从解压以后的根目录下运行 start.sh 脚本，然后在浏览器中输入 URL http:/your-server:8300/Install/ 打开安装向导，安装向导将引领您完成后续的安装步骤，安装过程将包括：安装类型（选择多节点分布式集群安装和配置）选择，文件系统选择，组，用户名及 SSH 配置，指定集群节点，组件安装，安全类型选择等，下面给出具体的 HBase 以及 Zookeeper 的安装配置实例。网址：网址：edu.51CTO.com图 3. HBase 安装和配置图 4. Zookeeper 安装和配置最后，当安装完成以后，点击“Finish”或者在后台命令行运行“start.sh shutdown”关闭安装向导。网址：网址：edu.51CTO.comIBMIBM 对对 HBaseHBase 的改进和扩展的改进和扩展BigInsights 最大限度的提供了统一的，IBM 特有的 HBase 管理功能，包括用户界面以及后台命令行管理模式。这样，用户可以通过简单的界面操作或者后台命令来启停 / 查看 HBase 集群，而不用关心具体的实现细节。与此同时，IBM 还提供了统一的用户界面和添加、删除节点命令来支持 HBase 集群的可伸缩性。另外，HBase Master 多结点功能的实现，提供并保证了 HBase 在 BigInsights 中的高可用性。以下将对这些改进和扩展功能进行展开介绍。IBMIBM BigInsightsBigInsights 中的中的 HBaseHBase 集群管理和监控集群管理和监控BigInsights 集群为 HBase 提供了完备的管理功能，包括统一的 HBase 用户管理界面，后台命令行管理模式，HBase 服务状态监控，检查、同步、添加、删除、启动、停用、查看 HBase 服务，反向代理 UI，查看 HDFS 中的 HBase，HBase 应用程序提交等。Web 界面管理 HBase 服务状态通过 http:/ 主节点主机名或 IP:8080/data/html/index.html 进入 BigInsights Web 管理控制台。使用 BigInsights 安装所有模块包括 Hadoop、Hbase、Zookeeper、Oozie、Flume 等。（注意：如果您使用的是 BigInsights Basic 版本，请使用 http:/ 主节点主机名或 IP:8080/BigInsights 打开控制台。下文截图全部基于 Enterprise 版本，Basic 版本会略有差别。）图 5. BigInsights Web 管理界面网址：网址：edu.51CTO.com在 BigInsights Web 管理界面中点击“Cluster Status”页面，可以实现对 HBase, Zookeeper 以及其他模块状态的监控、启停。“Cluster Status”页面左上方分别列出 BigInsights 集群中所有组件的服务的运行状态。可以看到所有服务目前都处于正常的运行状态中。选择“HBase”，可以查看 HBase 集群的服务信息，如图 8，列出了 HBase 的简要信息，包括 HBase 集群状态 (Start/Stop)，HBase Master 节点及进程号，平均 Load 数，HBase 集群中生存的 Region Server 个数，死亡的 Region Server 个数等。图 6. HBase 服务状态监控网址：网址：edu.51CTO.com图 7. HBase Master 服务状态监控及启停图 8. HBase Region Servers 服务状态监控及启停此外，BigInsights 提供了统一的命令行接口对集群的组件进行管理。用户可以方便的使用命令行来检查 HBase 集群使用的健康状态，增加和删除 HBase 节点 , 启动、停止某个服务，或者查询服务的状态等。检查检查 HBaseHBase 组件的健康状态组件的健康状态您可以 BigInsights 管理节点上通过以下命令来验证 HBase 集群的健康状态：1. $/bin/sh $BIGINSIGHTS_HOME/bin/healthcheck.sh hbase 同步同步 HBaseHBase 的配置文件的配置文件作为集群管理人员，通常需要修改配置参数来调优 HBase 的集群性能，或者修改相关配置，所有的这些操作都需要修改 HBase 的配置文件，如 hbase-site.xml. regionservers, hbase-env.sh, hadoop-metrics.properties 或者 log4j.properties，BigInsights 集群管理为各组件提供统一的配置文件同步功能，以保证统一之组件在所有节点上配置的一致性。您可以通过以下命令来同步 HBase 配置文件：1. 您可以在 BigInsights 管理节点的 $BIGINSIGHTS_HOME/hdm/components/hbase/conf/ 目录下更新 HBase 配置文件 2. 在 BigInsights 管理节点上通过运行以下命令同步所有的节点的 HBase 配置文件：1. $/bin/sh $BIGINSIGHTS_HOME/bin/syncconfig.sh 网址：网址：edu.51CTO.comhbasehbase 增删增删 HBaseHBase 节点节点BigInsights 平台支持增删 HBase 节点的功能。 1. 增加节点 您可以在 BigInsights 管理节点上运行以下命令来增加一个或多个节点到 HBase 集群中：1. $/bin/sh $BIGINSIGHTS_HOME/bin/addnode.sh hbase node1 -type=master 2. $/bin/sh $BIGINSIGHTS_HOME/bin/addnode.sh hbase node1 -type=regionserver 其中 node1 可以是 IP 地址也可以是 hostname. 2. 删除节点 您可以在 BigInsights 管理节点上运行以下命令来从 HBase 集群中删除一个或多个节点，删除 HBase 节点只会删除 HBase 服务，不会删除任何数据。1. $/bin/sh $BIGINSIGHTS_HOME/bin/removenode.sh hbase 其中 node1 可以是 IP 地址也可以是 hostname. 启停和查看启停和查看 HBaseHBase 服务服务您可以在 BigInsights 管理节点上运行以下命令来启动 HBase 集群服务：1. $/bin/sh $BIGINSIGHTS_HOME/bin/start.sh hbase 您可以在 BigInsight