上面左边是我的个人微信，如需进一步沟通，请加微信。 右边是我的公众号“Openstack私有云”，如有兴趣，请关注。
公司有两台测试服务器，是华为的RH2288 V3 ，配置64G内存，2颗16核CPU ，4块1TSAS盘，原来是单机使用，为了更充分的利用硬件资源，计划将这两台服务器安装PVE5-3进行虚拟化。具体的设计思路如下：
两台服务器主要用在公司内部开发测试环境使用，同时也有计划给云桌面使用，所以，需要考虑一定的安全性。具体规划：
1、存储方面，服务器的4块硬盘前两块做raid1，安装pve系统，并且后续的云桌面虚拟机以及重要的虚拟机使用这个盘；后面2块盘，一块单独作lvm给虚拟机使用，一块做成NFS共享存储，给虚拟机做备份使用；并且虚拟机备份注意交叉备份，比如pve1上的虚拟机备份到pve2上的nfs盘上，pve2上的虚拟机备份到pve1上的nfs，这样如果一台服务器故障，可以最大限度保护数据；
2、网络方面，有2个网络，将其中一个网络作为管理网络（集群管理corosync网络），一个物理网络作为业务网络（虚拟机业务网络）。由于没有使用ceph分布式存储，因此这里不涉及到存储网络的设计。真正使用的时候，由于公司内部网络流量不是很大，建虚拟机的时候，会同时使用管理网络，即虚拟机会同时有2块网卡，分别接入2个网络。
3、两台服务器之间的关系，由于只有2台物理服务器，做集群需要3台，因为2台的集群当1台服务器关机的时候集群会发生脑裂，不适合建集群。同时为了最大化利用硬件资源，以及省电，正式使用的时候，下班和节假日期间都会关闭其中1台或者全部关电，所以，我的这个环境并不适合做集群。
首先是将物理机的前2块磁盘做raid1，完成之后如下图：
接着安装pve5-3，详细过程不赘述，主要是设置root密码以及设置IP地址，如下图：
大概20分钟安装一个PVE节点，安装完成之后，就可以开始进入pve 的web管理界面使用了，如下图：
接下来配置网络，新建一个网桥并配置192.168.1.0/24网段的地址给它，搭另一块网卡进行桥接，如下图：
注意，网络配置需要重启服务器才会生效。上面没有配置网关，是因为另外一个网桥已经配置了网关，如果这里也配置，会报错。
接下来配置存储，如下：
pvcreate /dev/sdb ---将第二块盘划分一个pv
vgcreate pve1-vg-sdb /dev/sdb ---创建vg
lvcreate --thin -L 900G -n pve1-lvm-vm pve1-vg-sdb ---将vg的所有空间都给lv ，类型是thin，lv名称是pve1-lvm-vm
之后，就可以在pve 的web管理界面创建对应的lvm ，如下图：
接下来再创建nfs服务器，将第四块盘作为nfs共享盘挂载到nfs服务。
pvcreate /dev/sdc ---将第三块盘划分一个pv
vgcreate pve1-vg-sdc /dev/sdc ---创建vg
lvcreate -l 100%VG -n pve1-lvm-nfs pve1-vg-sdc ---将vg的所有空间都给lv ，lv名称是pve1-lvm-nfs
mkfs.xfs /dev/pve1-vg-sdc/pve1-lvm-nfs
mkdir -p /data/pve1-nfs
设置挂载点 :
mount /dev/pve1-vg-sdc/pve1-lvm-nfs /data/pve1-nfs
在/etc/fstab文件中写入下面这行，使开机自动挂载：
/dev/pve1-vg-sdc/pve1-lvm-nfs /data/pve1-nfs xfs defaults 0 0
执行如下命令进行nfs服务端的安装。
apt-get install nfs-common nfs-kernel-server
配置共享目录
vi /etc/exports
增加如下内容：
/data/pve1-nfs *(rw,sync,no_root_squash,no_subtree_check,insecure)
启动nfs服务端
/etc/init.d/nfs-kernel-server start
注：如果修改了/etc/exports的内容，执行 exportfs -a 进行更新
这样，在web界面上就可以使用上面共享出来的nfs共享目录了，如下图：
最后，更改一下软件源，默认是订阅版，需要收费，更改为非订阅版，如下：
将/etc/apt/sources.list.d/pve-enterprise.list 文件内的唯一一条记录注释掉：
#deb https://enterprise.proxmox.com/debian/pve stretch pve-enterprise
wget -q -O- 'http://download.proxmox.com/debian/pve/dists/stretch/proxmox-ve-release-5.x.gpg' | apt-key add -
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list
apt update && apt dist-upgrade
至此，一个PVE节点搞定！
第二台PVE节点基本一样，不一样的地方是这台服务器没有做raid，充分利用存储资源，配置存储，将sdb和sdc两块盘划分到一个vg，使用thin lv专门供虚拟机存储池使用，如下：
pvcreate /dev/sdb ---将第二块盘划分一个pv
pvcreate /dev/sdc ---将第三块盘划分一个pv
vgcreate pve2-vg-vm /dev/sdb /dev/sdc ---创建vg
lvcreate --thin -L 1800G -n pve2-lvm-vm pve2-vg-vm ---将vg的所有空间都给lv ，类型是thin，lv名称是pve1-lvm-vm
第二台服务器创建nfs服务器，将第四块盘作为nfs共享盘挂载到nfs服务。
pvcreate /dev/sdd ---将第四块盘划分一个pv
vgcreate pve2-vg-nfs /dev/sdd ---创建vg
lvcreate -l 100%VG -n pve2-lvm-nfs pve2-vg-nfs ---将vg的所有空间都给lv ，lv名称是pve2-lvm-nfs
mkfs.xfs /dev/pve2-vg-nfs/pve2-lvm-nfs
mkdir -p /data/pve2-nfs
设置挂载点 :
mount /dev/pve2-vg-nfs/pve2-lvm-nfs /data/pve2-nfs
在/etc/fstab文件中写入下面这行，使开机自动挂载：
/dev/pve2-vg-nfs/pve2-lvm-nfs /data/pve2-nfs xfs defaults 0 0
执行如下命令进行nfs服务端的安装。
apt-get install nfs-common nfs-kernel-server
配置共享目录
vi /etc/exports
增加如下内容：
/data/pve2-nfs *(rw,sync,no_root_squash,no_subtree_check,insecure)
启动nfs服务端
/etc/init.d/nfs-kernel-server start
注：如果修改了/etc/exports的内容，执行 exportfs -a 进行更新
开始上传ISO镜像，创建虚拟机，如果使用容器虚拟机，下载template模板镜像，在此不赘述。