VMware-ESXi集群经典案例(原创)

VMware VMware ESXiESXi 集群集群实例实例 HP C700HP C7000 0 刀片服务器刀片服务器 DELL EQlogiDELL EQlogic c IPSANIPSAN 万兆存储万兆存储 华为华为 S670S6700 0 万兆核心交换万兆核心交换机机 目录目录 一、案例概述 . 3 二、系统拓扑图 . 3 三、设备清单 . 3 四、详细连线图 . 5 五、网络划分 . 5 六、HP VC 模块网络配置 5 七、DELL EQLogic 存储规划、配置 9 1、拓扑图 . 9 2、存储管理网络 . 9 3、存储业务网络 . 9 4、存储 LAN 划分规划 10 5、存储管理 . 10 八、华为万兆交换机规划、配置 . 10 1、VMware 管理网络 11 2、vMotion 网络 11 3、业务网络 . 11 4、存储网络 . 11 九、VMware 集群规划、配置 12 1、集群概览 . 13 2、集群网络配置 . 14 3、集群管理机规划、配置 . 16 一、案例概述一、案例概述 该案例主要搭建一套小型的私有云中心， 以给需要计算资源的单位提供相应的服务。 将硬件资源 （刀片服务器、 存储等） 通过 VMware 的虚拟化软件来实现。 二、系统拓扑图二、系统拓扑图 三、设备清单三、设备清单 1、刀片服务器 两台 HP C7000 刀片机箱，每机箱配置 8 个刀片服务器及四个 VC 模块，具体如下： （1）HP C7000 刀箱 * 2 （2）HP BL420c 刀片 * 8 （每刀片配置两颗 CPU、128G 内存、4 个 10GB 以太网卡） （3）HP Virtual Connect FlexFabric 10Gb/24-port Module 模块 * 4 （4）其它（OA 管理模块、电源、风扇等） 2、DELL EQlogic 存储存储 存储共配置了 6 个盘柜，三个为高速盘柜（PS6110XV，双控制器、8G 缓存、24× 600GB 15Krpm SAS 热插拨硬盘）， 三个为低速盘柜（PS6110E，双控制器、8G 缓存、24× 3TB 7.2Krpm NL-SAS 热插拨硬盘） （1）DELL EQLogic PS6110XV * 3 （2）DELL EQLogic PS6110E * 3 3、华为、华为 S6700 万兆交换机万兆交换机 共配置了两台，具体如下 （1）华为 S6700-48-EI * 2 （配置 48 个万兆 SFP 接口、支持三层交换） 4、虚拟化软件、虚拟化软件 VMware 虚拟化软件采用的 VMware vSphere 5.0 Enterprise，32 个 CPU 授权（16 个刀片，每刀片 2 个 CPU）。 四、详细连线图四、详细连线图 以太网业务网络和 IP SAN 网络都先连接至华为 S6700 万兆交换机上，业务网络核心交换机华为 S9312 再与 S6700 万 兆交换机通过 4 根 10GB 光纤相连。 各网络通过 VLAN 来隔离。 刀片的 VC 模块多根线连接至 S6700 时， 连接在 S6700 上的多个端口需要做端口聚合端口聚合（华为交换机中称 E-trunk） 。 端口聚合端口聚合：交换机会把一组物理端口联合起来，做为一个逻辑的通道，也就是 channelgroup，这样交换机会认为这 个逻辑通道为一个端口。 五、网络划分五、网络划分 在一个私有云中，不单有存储网络及业务网络，还有其它一些辅助的网络，如 VMware 管理网络、VMware vMotion 网 络、存储管理网络等。此次具体划分如下： （1）VMware 集群管理，IP：172.22.228.0/128，网关：172.22.228.1，VLAN ID：228 （2）业务网络，IP：172.22.227.0/24，网关：172.22.227.1，VLAN ID：227 （3）vMotion 网络，IP：10.100.100.0/24，网关：无，VLAN ID：3000 （4）Iscsi 存储管理网络，IP：172.22.228.128/128，网关：172.22.228.129，VLAN ID：229 （5）Iscsi 存储业务网络，IP：10.200.88.0/22，网关：无，VLAN ID：3088 六、六、HP VCHP VC 模块网络配置模块网络配置 从详细连接图中可看出，每个刀箱配置了四个 VC 模块，两个模块用于以太网连接，两个模块用于 IP SAN 连接。 在整个配置过程中，唯一与传统服务器不同的是网络的连接方式。传统服务器只需将网络接入服务器的物理网口即可。 但本项目中 HP 刀片服务器使用了 VC 模块来接入网络。 每台刀片服务器配置了 2 块双端口万兆物理网卡，即有 4 个物理网口。每个物理网口需有一个 VC 模块来对应，VC 模 块如下图所示： 所以每个刀箱配置了 4 个 VC 模块。 每个刀片的 1 个物理网口通过 VC 模块，可以虚拟出 4 个虚拟网口（4 个虚拟网口总带宽仍为 10GB） ，即 4 个物理网口 可以虚拟出 16 个虚拟网口。虚拟的网口带宽可以随意分配，如 1G+3G+3G+3G=10GB，当然也可以虚拟成三块，如 1G+3G+6G=10G。 刀片的 4 个物理网卡由两块双端口的卡组成，第一块接在主板上，称为 LOM，第二块接入 Mezz 插槽，称为 Mezz Slot1 插槽。 在 VC 中 LOM 网卡的第一块标记为 LOM:1，第二块为 LOM:2。 Mezz Slot1 在 VC 中第一块标记为 Mezz1:1，第二块为 Mezz1:2。 如下图所示。 在 VC 中，每个物理端口都被分成了 a、b、c、d 四个虚拟网口，例如 LOM:1 网口就被虚拟成：LOM:1-a、LOM:1-b、 LOM:1-c、LOM:1-d。其它三个网口以此类推，则 16 块虚拟网卡如下图所示。 我们知道，在 VMware 中，网卡的序号是 vmnic0、vmnic1、 vmnic2 这样顺序排下去的。 在 VC 中，每个虚拟网卡如 LOM:1-a 也有一个序号。 这三者之间的关系如下图所示。 在整个 VMware 集群中，网络分为管理网络、业务网络、vMotion 网络及 Iscsi 存储网络。对应的带宽分配如下： 1、VMware 管理网络，带宽 1+1=2GB，VLAN ID：228 2、业务网络，带宽 6+6=12GB，VLAN ID：227 3、vMotion 网络，带宽 3+3=6GB，VLAN ID：3000 4、iSCSI 存储网络，带宽 10+10=20GB，VLAN ID：3088 VMware 四部分网络对应刀片的网口划分如下图所示： 综合上面的对应表，即能得出本案例网卡对应表，如下： 七七、DELL EQLogicDELL EQLogic 存储规划、配置存储规划、配置 共配置了 6 个盘柜，存储的网络划分成管理网络和存储网络两类，管理网络通过一个单独的交换机，将 6 个盘柜连接起 来， 网络地址为 172.22.228.128/128。 存储网络地址为 10.200.88.0/22， 存储服务地址为 10.200.88.200/22。 详细如下： 1、拓扑图、拓扑图 两台华为的 6700 交换机，存储有两个控制器，接入规划为每个盘柜的控制器 A 接入第一台华为 6700 的交换机上，每 个盘柜的控制器 B 接入第二台华为 6700 交换机上。如上图所示。 IRF（Intelligent Resilient Framework，智能弹性架构）是 H3C 自主研发的软件虚拟化技术。它的核心思想是将多台设 备通过 IRF 物理端口连接在一起，进行必要的配置后，虚拟化成一台“分布式设备” 。使用这种虚拟化技术可以实现多 台设备的协同工作、统一管理和不间断维护。 2、存储管理网络、存储管理网络 （1）PS6110XV-1（高速柜 1），管理 IP：172.22.228.201/128，VLAN ID：229 （2）PS6110XV-1（高速柜 1），管理 IP：172.22.228.202/128，VLAN ID：229 （3）PS6110XV-1（高速柜 1），管理 IP：172.22.228.203/128，VLAN ID：229 （4）PS6110E-1（低速柜 1），管理 IP：172.22.228.204/128，VLAN ID：229 （5）PS6110E-1（低速柜 1），管理 IP：172.22.228.205/128，VLAN ID：229 （6）PS6110E-1（低速柜 1），管理 IP：172.22.228.206/128，VLAN ID：229 3、存储业务网络、存储业务网络 存储业务网络只有一个 IP 地址，为 10.200.88.200/22，所有需要访问存储空间的设备只需访问该 IP 地址即可。 4、存储、存储 LAN 划分规划划分规划 （1）高速盘 高速盘用于对数据读写要求高的分配，如虚拟机的操作系统等。 说明：划分分区时名称带有cluster1和cluster2，是因为VMware到时创建两个HA，8个 ESXI刀片主机为一个HA，cluster1的lun只能让VMware的cluster1可以访问，cluster2 只能让VMware的cluster2可以访问。 （2）低速盘 低速盘用于存储视频等大容量的空间应用。 5、存储管理、存储管理 存储管理是通过 WEB 界面来管理，可以通过服务器 10.200.88.200 来管理，如 https:/10.200.88.200，也可以通过存储 管理地址来访问，如 172.22.228.201 等地址。默认用户名密码为：grpadmin/password，进入后，就可以对存储进行管 理。 八八、华为万兆交换机规划、配置、华为万兆交换机规划、配置 两台华为交换机作为业务网络及存储网络的基础， 起着十分重要的作用。 交换机本身只作为二层交换机使用， 通过 VLAN 来隔离不同的网络。 型号为华为 S6700-48-EI，带有 48 个 SFP 万兆插槽、包转发率：715Mpps、交换容量：960Gbps。 在交换机上创建五个 VLAN，227 228 229 3000 3088。 交换机端口连接、划分表： 1、VMware 管理网络管理网络 S67000-01：11 口（接 HP C7000-01 VC01 X1 口） S67000-01：19 口（接 HP C7000-02 VC01 X1 口） S67000-02：11 口（接 HP C7000-01 VC03 X1 口） S67000-02：19 口（接 HP C7000-02 VC03 X1 口） 2、vMotion 网络网络 S67000-01：12 口（接 HP C7000-01 VC01 X2 口） S67000-01：20 口（接 HP C7000-02 VC01 X2 口） S67000-02：12 口（接 HP C7000-01 VC03 X2 口） S67000-02：20 口（接 HP C7000-02 VC03 X2 口） 3、业务网络、业务网络 S67000-01：13 口（接 HP C7000-01 VC01 X3 口） S67000-01：14 口（接 HP C7000-01 VC01 X4 口） S67000-01：15 口（接 HP C7000-02 VC01 X3 口） S67000-01：16 口（接 HP C7000-02 VC01 X4 口） S67000-02：13 口（接 HP C7000-01 VC03 X3 口） S67000-02：14 口（接 HP C7000-01 VC03 X4 口） S67000-02：15 口（接 HP C