SANGFOR HCI iSCSI高可用技术原理及操作指南

第一章. SANGFOR HCI iSCSI高可用技术原理1.1. 背景SANGFOR HCI通过iSCSI协议可以对外提供存储服务，比如为VMware虚拟化平台提供存储，为物理服务器提供存储，作为备份存储使用。目前SANGFOR HCI提供的iSCSI服务无法满足企业级要求，连接到虚拟iSCSI磁盘时需要指定iSCSI磁盘所在的其中一台主机，当网络或者该主机故障等异常时，无法自动切换到另外一个主机从而导致服务中断。高可用技术就是因为这个场景而产生的，目的是为了解决存储单点故障问题。在一个节点故障后，自动切换到另一节点。同时，保证切换期间业务不会中断。1.2. iSCSI协议1.2.1 iSCSI简介ISCSI（Internet Small Computer System Interface）：是一种基于 TCP/IP的协议，用来建立和管理 IP 存储设备、主机和客户机等之间的相互连接，并创建存储区域网络（SAN）。基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能，甚至直接利用现有的TCP/IP网络。相对于以往的网络存储技术，它解决了开放性、容量、传输速度、兼容性、安全性等问题，其优越的性能使其备受关注与青睐。 1.2.2 iSCSI的工作流程 iSCSI分为iSCSI Target(目标器/服务端)和iSCSI Initiator(发起程序/客户端端）。iSCSI协议栈 iSCSI协议的工作过程：当iSCSI主机发起数据读写操作后，操作系统会生成一个SCSI指令集，然后该SCSI指令集在iSCSI initiator端被封装成iSCSI消息包，并通过TCP/IP网络传输到存储区域，当存储区域的iSCSI target收到iSCSI消息包时会将其解开，读取其中的SCSI指令，然后再将其SCSI指令传送给SCSI设备执行其指令。当SCSI指令被执行后，返回的数据经过SCSI设备传送给iSCSI target时被封装为iSCSI的响应PDU，然后再通过TCP/IP网络传输给iSCSI initiator端，iSCSI initiator解开其iSCSI PDU包，读取其中的SCSI响应内容，并将其提交给操作系统进行处理，然后操作系统在将其处理后的内容返回给应用程序。 SCSI层：根据客户端发出的请求建立SCSI CDB（命令描述块），并传给iSCSI层。同时接收来自iSCSI层的CDB，并向应用返回数据。 iSCSI层：对SCSI CDB进行封装，以便能够在基于TCP/IP协议的网络上进行传输，完成SCSI到TCP/IP的协议映射。 TCP/IP层：对IP报文进行路由和转发，并且提供端到端的透明可靠的传输。initiator发现target的过程1、ISCSI initiator按照配置文件/etc/iscsi/iscsid.conf中配置的相应项目利用iSCSI的发现机制在网络中搜索目标设备target。2、iSCSI target将返回有效的iqn名称给iSCSI initiator。3、ISCSI target按照配置的验证方式接受initiator的登录并返回目标设备target标识。4、iSCSI initiator发生查询请求给target请求查询target的相关信息。5、target响应initiator的查询请求，并将设备的有关信息返回给initiator。6、initiator创建可以的目标设备target列表。 iSCSI的整个数据传输过程在用户看来是完全透明的，用户使用远端的存储设备就像使用本地的硬盘设备一样。不过，这只是理论状态，实际上iSCSI的数据传输速率并不能完全达到本地硬盘的数据传输速率，但差别并不明显。而且这种网络存储模式还有一个优点是安全性高，这对于数据集中存储的iSCSI来说显然非常重要。1.2.3 iSCSI的数据包结构1.2.4 iSCSI的优势1、广泛分布的以太网为iSCSI的部署提供了基础。2、千兆/万兆以太网的普及为iSCSI提供了更大的运行带宽。 3、以太网知识的普及为基于iSCSI技术的存储技术提供了大量的管理人才。4、由于基于TCP/IP网络，完全解决数据远程复制（Data Replication）及灾难恢复（Disaster Recover）等传输距离上的难题。5、得益于以太网设备的价格优势和TCP/IP网络的开放性和便利的管理性，设备扩充和应用调整的成本付出小。1.3. 高可用HA（High Availability）技术 1.3.1 高可用集群 高可用集群就是当某一个节点或服务器发生故障时，另一个节点能够自动且立即向外提供服务，即将有故障节点上的资源转移到另一个节点上去，这样另一个节点有了资源即可以向外提供服务。高可用集群是用于单个节点发生故障时，能够自动将资源、服务进行切换，这样可以保证服务一直在线。在这个过程中，对于客户端来说是透明的。1.3.2 高可用的工作方式（1）主从方式 （非对称方式） 主机工作，备机处于监控准备状况。当主机宕机时，备机接管主机的一切工作，待主机恢复正常后，按使用者的设定以自动或手动方式将服务切换到主机上运行，数据的一致性通过共享存储系统解决。（2）双机双工方式（互备互援） 两台主机同时运行各自的服务工作且相互监测情况，当任一台主机宕机时，另一台主机立即接管它的一切工作，保证工作实时，应用服务系统的关键数据存放在共享存储系统中。（3）集群工作方式（多服务器互备方式） 多台主机一起工作，各自运行一个或几个服务，各为服务定义一个或多个备用主机，当某个主机故障时，运行在其上的服务就可以被其它主机接管。1.3.3 iSCSI高可用方案 iSCSI高可用基于开源的keepalived，Keepalived 基于虚拟路由冗余协议(VRRP ，Virtual Router Redundancy Protocol)实现高可用性。Keepalived对外提供虚拟IP（VIP）访问。VIP由优先级高的节点接管，该IP将在节点故障时自动切换到另一可用备用节点，从而保证该IP始终是可访问的。每个SANGFOR HCI节点都需要运行keepalived服务。目前SANGFOR HCI可以达到的故障切换时间在57s左右（这和iSCSI客户端有一定关系)。同时，切换期间业务不会中断。如上图所示，正常流程下，客户机访问iSCSI磁盘的过程，首先客户机先登录接入网口的主机1，然后根据要访问的iSCSI_target来通过VIP轮询的方式来访问HCI主机，如果主机3断线，主机1，主机2的心跳程序会检测到，然后更新主机1和主机2的tgtd_state状态信息，优先级高的主机1会获取主机三的VIP，之后，如果有客户机访问vip3的信息会被重定向到主机1。1.3.4 iSCSI高可用流程 iSCSI高可用整个业务流程如下图所示：1、 用户界面配置高可用，或者获取高可用信息，如配置虚拟IP池。2、 高可用模块保存相关信息，创建目录文件，容量限制等操作，如果失败则无需通知keepalived则直接返回给UI。3、 如果是虚拟IP配置等操作，则需要通过socket或者信号等通知keepalived。4、 Keepalived更新配置获取信息。5、 Keepalived返回结果6、 返回结果给UI。7、 网络出现异常，如断网、断电、主机关机等网络异常的状况。8、Keepalived检测到网络异常，触发虚拟IP漂移。iSCSI客户端检测到虚拟IP变化，将连接切过去。1.3.5 ISCSI高可用部署 部署模式必须保障集群大于等于3台HCI主机。交换机可以连接HCI的管理网口、数据通信口或者存储私网口。如果两台，高可用功能不能使用，只能使用原有版本的iSCSI接口。应用服务器可以是vmware、公有云以及其它第三方服务器。1.3.6 Keepalived扩展知识 Keepalived是一款高可用软件，它的功能主要包括两方面：1）通过IP漂移，实现服务的高可用：服务器集群共享一个虚拟IP，同一时间只有一个服务器占有虚拟IP并对外提供服务，若该服务器不可用，则虚拟IP漂移至另一台服务器并对外提供服务。2）对服务器集群进行状态监控：若应用服务器不可用，则keepalived将其从集群中摘除，若应用服务器恢复，则keepalived将其重新加入集群中。 Keepalived可以单独使用，即通过IP漂移实现服务的高可用，也可以结合LVS使用，即一方面通过IP漂移实现LVS负载均衡层的高可用，另一方面实现LVS应用服务层的状态监控，如图所示： Keepalived的实现基于VRRP（Virtual Router Redundancy Protocol，虚拟路由器冗余协议），而VRRP是为了解决静态路由的高可用。VRRP的基本架构如图所示： 虚拟路由器由多个VRRP路由器组成，每个VRRP路由器都有各自的IP和共同的VRID(0-255)，其中一个VRRP路由器通过竞选成为MASTER，占有VIP，对外提供路由服务，其他成为BACKUP，MASTER以IP组播（组播地址：224.0.0.18）形式发送VRRP协议包，与BACKUP保持心跳连接，若MASTER不可用（或BACKUP接收不到VRRP协议包），则BACKUP通过竞选产生新的MASTER并继续对外提供路由服务，从而实现高可用。第二章. ISCSI高可用操作指南相信经过上一章的原理介绍，对iSCSI磁盘的技术原理和使用场景都有了一定的了解。下面介绍一下iSCSI磁盘的具体使用步骤。其中，以客户端是vmware为例，详细叙述操作步骤。1. 搭建环境，创建集群，完成VS初始化。2. iSCSI磁盘管理界面如下图所示：3. 先配置iSCSI服务器，Target前缀默认即可。CHAP 用户名和密码是用于iSCSI 客户端连接认证的。iSCSI客户端只有输入了正确的iSCSI服务端用户名和密码时才能连接成功。4. 配置好了iSCSI服务器后，创建虚拟iSCSI磁盘。名称只能由数字、字母、小数点、冒号组成，描述是选填项，这里不填。磁盘大小不可超过48T，这里取200G。可访问客户端选择任意客户端。是否为重要iSCSI磁盘和是否允许多客户端同时接入可以根据实际情况选择，这里不选。5. 完成磁盘创建后，配置外接选项。外接网口可选管理网口、数据通信网口和虚拟存储网口。虚拟ip池的ip个数可以是少于或等于主机数，不能超过主机个数。这里有三台主机，配置三个vip。子网掩码最好跟客户端保持一致，客户端的网段范围必须要大于服务端的网段范围。接入ip默认为虚拟ip池的第一个ip，不能修改。6. 前面五步已经完成了服务端的配置，下面进行客户端vmware上的配置。登录vmware vSphere Web Client，在主页选择“主机和群集”。7. 在“主机和群集”列表中选中一台主机，然后选择“配置”分页，再在列表中选中“存储适配器”。在iSCSI Sofeware Adapter下选择iSCSI适配器。在适配器详细信息中选择目标分页，选择动态发现，选择“添加”按钮，添加发送目标服务器，过程如下图所示。8. 在“添加发送目标服务器”对话框中，iSCSI服务器填配置外接选项时设置的接入IP，端口取默认3260。“身份验证设置”中，不勾选“从父项继承设置”身份验证方法选择“使用单向CHAP”。“出站CHAP凭据”必须填写，其中“名称”是iSCSI 服务器的CHAP 用户名，而“密钥”是CHAP 密码。“入站CHAP凭据”不需填写。