关于pve集群cluster管理

[TOC]

本文将讲述如何将多个pve单节点，组建成一个cluster集群（最少3个节点以得到稳定的quorum），比如 node01、node02、node03。

组建pve集群的好处：

• 集中的web管理
• 多主集群架构：从任何一个节点都可以管理整个集群
• pmxcfs：以数据库驱动的文件系统保存配置文件，并通过corosync在确保所有节点的配置信息实时同步
• 虚拟机和容器可方便地在物理服务器节点之间迁
• 快速部署
• 基于集群的防火墙和HA服务

创建集群的注意事项：

• 整个cluster的所有node节点名称不能重名，节点命名建议参考 node{01,02,03,xx}
• 加入集群的新节点不能有虚拟机
• 整个cluster下所有node下的虚拟机id不能重复
• 建议所有节点使用同一个密码

创建和加入集群

• 第1步，在任一节点（比如 node01）创建集群，集群名称自己自定义，比如 sqlfans

• 第2步，在已创建集群的节点（比如 node01），打开加入信息，点击下面的拷贝信息

• 第3步，在其他节点（比如 node02）加入集群，然后把刚才拷贝的信息粘贴到这里，输入已创建集群的节点（比如 node01）的密码，然后等待添加完成。

注：若加入集群的 Status 窗口最后显示 Connection error（如下图示）则可以忽略，只要节点1页面刷新显示正常就行。

• 第4步，重复上一步操作，将剩余节点上加入集群

退出集群

故障节点逐出集群

假设某节点硬件故障而无法开机（将 node03 关机即可模拟），需要把该节点从集群中逐出。

• 第1步，在正常的集群节点上（比如 node01）将故障节点从集群中移除。

downnode=node03

rm -rf /etc/pve/nodes/$downnode
pvecm delnode $downnode

故障节点重新加入集群

接上一步，假设故障节点的故障修复完毕（系统可以登录），如何重新加入集群呢？

• 第2步，在修复完成的节点上（比如 node03），ssh登录终端，将集群信息清理掉。

systemctl stop pve-cluster.service
systemctl stop corosync.service
pmxcfs -l
rm -f /etc/pve/corosync.conf
rm -rf /etc/corosync/*
killall pmxcfs
systemctl start pve-cluster.service

注：执行 killall pmxcfs 则会断开shell，且web管理地址无法登陆，所以必须ssh登录操作。

• 第3步，参考加入集群的步骤，将该节点重新加入集群。

销毁集群

假设集群不用了，只用在所有节点执行如下命令：

systemctl stop pve-cluster corosync
pmxcfs -l
rm /etc/corosync/*
rm /etc/pve/corosync.conf
killall pmxcfs
systemctl start pve-cluster
rm -rf /etc/pve/nodes/*