1.1. 网络拓扑
项目的网络拓扑如下图所示:
说明:
1.本图重点关注于nutanix设备的接线和网拓扑,其他的网络和设备忽略或大概示意
2.出口网络是在29楼机房,设备是位于28楼机房,之间使用光纤直连,跨楼层使用光纤配线架
3.防火墙上需要新配置接口port5和port6,两个接口的配置完全一样,在防火墙上配置链路聚合模式接口绑定一起
4.交换机为华为S5720-28X,两台交换机使用业务口进行堆叠配置,堆叠后合并为一台整体交换机
5.两台交换机的万兆光口上行级联到防火墙,接口配置链路聚合模式
6.交换机下行连接nutanix设备的四个节点的网卡,使用千兆电口,千兆网线
7.防火墙,交换机,nutanix之间的网络连接都有冗余,实现了完全的热备状态,任何一个设备的单点故障都能够及时切换,保证网络和业务不会中断。
1.2. 网络冗余及可靠性
为了满足网络的冗余和可靠性的要求,网络进行了双机热备的双链路设计,采用的方式为链路聚合和交换机堆叠,保证在网络设备单点或者单机故障后的网络可靠性,保证业务不中断。详细的说明见下图所示:
1.3. 接口对应关系
各个设备的接口对应关系如下表所示:
本端设备 | 接口 | 说明 | 对端设备 | 接口 | 说明 |
防火墙FG3040B | port5 | 物理接口 | SW1_HW5720-28X | XGE1 | 万兆光口上行 |
port6 | 冗余接口 | SW2_HW5720-28X | XGE1 | 万兆光口上行 |
交换机SW1_HW5720-28X | GE10 | 千兆电口 | nutanix节点a | NIC-0 | 千兆电口 |
GE12 | 千兆电口 | nutanix节点b | NIC-0 | 千兆电口 |
GE14 | 千兆电口 | nutanix节点c | NIC-0 | 千兆电口 |
GE16 | 千兆电口 | nutanix节点d | NIC-0 | 千兆电口 |
XGE1 | 万兆光口 | 防火墙FG3040B | port5 | 级联 |
XGE4 | 万兆光口 | SW2_HW5720-28X | XGE16 | 堆叠 |
交换机SW2_HW5720-28X | GE10 | 千兆电口 | nutanix节点a | NIC-1 | 千兆电口 |
GE12 | 千兆电口 | nutanix节点b | NIC-1 | 千兆电口 |
GE14 | 千兆电口 | nutanix节点c | NIC-1 | 千兆电口 |
GE16 | 千兆电口 | nutanix节点d | NIC-1 | 千兆电口 |
XGE1 | 万兆光口 | 防火墙FG3040B | port6 | 级联 |
XGE4 | 万兆光口 | SW1_HW5720-28X | XGE16 | 堆叠 |
nutanix_NX-1465-g4 | NIC-0 | 节点a | SW1_HW5720-28X | GE10 | 千兆电口 |
NIC-1 | SW2_HW5720-28X | GE10 | 千兆电口 |
NIC-0 | 节点b | SW1_HW5720-28X | GE12 | 千兆电口 |
NIC-1 | SW2_HW5720-28X | GE12 | 千兆电口 |
NIC-0 | 节点c | SW1_HW5720-28X | GE14 | 千兆电口 |
NIC-1 | SW2_HW5720-28X | GE14 | 千兆电口 |
NIC-0 | 节点d | SW1_HW5720-28X | GE16 | 千兆电口 |
NIC-1 | SW2_HW5720-28X | GE16 | 千兆电口 |
1.4. nutanix超融合设备安装部署
1.4.1. 设备介绍
本次项目采购的是Nutanix1465,2U设备,4个节点,每个节点1块480G的SSD硬盘,2块6T的HDD硬盘,设备正面图如下:
局部按钮和指示灯,以A节点作为例子,具体见下图:
背面有两个前兆RJ45以太网口,两个万兆SFP端口,一个IPMI带外管理口,双电源设计,具体背面如图:
设备背面节点各网口MAC 地址以及序列号,具体细节见下图:
设备背面节点MAC地址
节点 | IPMI的MAC地址 |
A | 0C:C4:7A:C2:D8:70 |
B | 0C:C4:7A:C2:D9:75 |
C | 0C:C4:7A:C2:D9:48 |
D | 0C:C4:7A:C2:D8:BD |
主机后端网络端口布局示意图
1.4.2. 安装部署
Ø 环境准备
1) 部署之前在维护电脑上需要安装桌面端的虚拟化软件,可以选择VMware Workstation/Fusion、VirtualBox等;
2) 将Foundation 3.0的Foundation_VM-3.0.ovf.tar解压缩,然后通过桌面端的虚拟化软件导入,开启VM;
3) 开启虚拟机后可以再桌面看见两个文件,一个是set_foundation_ip_address,另外一个是Nutanix Foundation;
4) 点击set_foundation_ip_address,设置Foundation VM的IP、子网掩码、网关及DNS等信息,然后选择保存;
5) 点击Nutanix Foundation,启动Nutanix安装配置过程,进入到全局配置界面,需要根据事先规划好的网络配置填写,包括IPMI、Hypervisor和CVM信息;填写完成点击下一步;
备注:
所有IP设置到同一网段,包括Hypervisor、CVM和IPMI,因为初始化时通过IPMI的MAC地址进行二层访问,另外后期建议不修改CVM和Hypervisor 的地址,所以建议将IPMI的地址设置为业务网段,初始化完成后,修改IPMI 地址即可。
注意IPMI账户:ADMIN(大写)
6) 进入到Block/Node配置界面,首先Foundation会自动检测Block/Node状况,如果检测不到的情况下就需要手工输入信息;如下图点击增加节点Add Node;
7) 根据实际硬件情况,目前我们只有1个Block,每个Block节点数是4,然后点击创建。
8) 然后需要输入每个节点的具体信息,包括IPMI的MAC地址(在物理节点IPMI端口的下面)、IPMI的IP地址、Hypervisor IP地址和CVM IP地址;如果同时安装4个节点,要勾选上前面的Position选项;然后点击下一步;
9) 选择所要安装的Hypervisor,这里选择KVM,然后选择NOS的Package和Hypervisor ISO Image,点击下一步;
注释:NOS的安装包需要提前将安装包nutanix_installer_package-danube-<version>-<update>.tar上传到Foundation的/home/nutanix/foundation/nos下面。
10) 点击创建一个Cluster,输入Cluster Name、Cluster外部IP地址、CVM DNS服务器、CVM NTP服务器、Hypervisor NTP服务器、最大冗余数;
11) 为Cluster选择Block和Node,在这里全选;
12) 在核对信息完成后,点击Run Installation,然后等待安装完成。
Ø 网络配置
安装完成后需要配置VLAN,分别在Hypervisor和CVM上进行配置;
1) 首先通过命令行工具SSH登录到Hypervisor的主机上,
例如ssh root@10.120.189.8给Hypervisor设置VLAN
ovs-vsctl set port br0 tag=205
然后执行命令查看现有虚拟网络端口
ovs-vsctl list port br0
2) 在Hypervisor下登录到CVM
ssh nutanix@192.168.5.254
然后执行命令修改VLAN设置
change_cvm_vlan 205
注:以上IP地址为举例说明,实际使用时请按照规划修改。
1.4.3. 开关机步骤
Ø 关机
1)通知虚拟机所有者,关闭所有虚拟机;
2)ssh远程登录任意一台CVM,执行关闭集群命令 cluster stop;
3)节点会依次关闭,大约需要15-20分钟;
4)四台CVM关闭后,按节点电源键关机(关机键无顺序,长按3s关机)。
Ø 开机
1)依次按节点电源键(一般A、B、C、D开机,实际节点开机顺序无关)
2)3-5分钟后,节点依次开机;
3)SSH登陆任意一台CVM,执行开启集群命令:cluster start
4)群集启动成功后,测试集群地址连通性,并观察集群状态:cluster status;
5)登陆Prism后,观察告警信息,如果正常,开启各虚拟机。
Ø 查看集群状态
登陆后输入:cluster status