Proxmox VE 6.0管理指南——7. Proxmox群集文件系统（pmxcfs）

以你之姓@ 2023-10-08 09:38 38阅读 0赞

**7. Proxmox****群集文件系统（****pmxcfs****）**

Proxmox群集文件系统（“ pmxcfs”）是一个数据库驱动的文件系统，用于存储配置文件，这些文件使用corosync实时复制到所有群集节点。我们使用它来存储所有与PVE相关的配置文件。

尽管文件系统将所有数据存储在磁盘上的持久性数据库中，但是数据的副本位于RAM中。这对最大大小（目前为30MB）施加了限制。这仍然足以存储数千个虚拟机的配置。

该系统具有以下优点：

*  将所有配置实时无缝复制到所有节点
 *  提供强大的一致性检查，以避免重复的VM ID
 *  节点失去仲裁时为只读
 *  自动将Corosync群集配置更新到所有节点
 *  包括分布式锁定机制

**7.1****。****POSIX****兼容性**

该文件系统基于FUSE，因此行为类似于POSIX。但是根本没有实现某些功能，因为我们不需要它们：

*  您可以只生成普通文件和目录，但不能生成符号链接，…
 *  您不能重命名非空目录（因为这样可以更轻松地确保VMID是唯一的）。
 *  您无法更改文件权限（权限基于路径）
 *  O\_EXCL创建的不是原子的（就像旧的NFS）
 *  O\_TRUNC创建的不是原子的（FUSE限制）

**7.2****。文件访问权限**

所有文件和目录均由root用户拥有，并具有组 www-data。只有root拥有写权限，而组www-data可以读取大多数文件。以下路径下的文件：

/ etc / pve / priv /

/ etc / pve / nodes / $ \{NAME\} / priv /

只能通过root访问。

**7.3****。技术**

我们使用[Corosync集群引擎][Corosync]进行集群通信，并使用[SQlite][]进行数据库文件通信。文件系统是使用[FUSE][]在用户空间中实现的 。

**7.4****。文件系统布局**

文件系统安装在：

/ etc / pve

**7.4.1****。档案**

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> corosync.conf </td> 
 <td style="border-color:#527bbd;vertical-align:top;"> Corosync群集配置文件（在Proxmox VE 4.x之前，此文件称为cluster.conf） </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> storage.cfg </td> 
 <td style="vertical-align:top;"> Proxmox VE存储配置 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 数据中心 </td> 
 <td style="vertical-align:top;"> Proxmox VE数据中心范围内的配置（键盘布局，代理等） </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> user.cfg </td> 
 <td style="vertical-align:top;"> Proxmox VE访问控制配置（用户/组/…） </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> domains.cfg </td> 
 <td style="vertical-align:top;"> Proxmox VE认证域 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> status.cfg </td> 
 <td style="vertical-align:top;"> Proxmox VE外部指标服务器配置 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> authkey.pub </td> 
 <td style="vertical-align:top;"> 票务系统使用的公钥 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> pve-root-ca.pem </td> 
 <td style="vertical-align:top;"> 群集CA的公共证书 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> priv / shadow.cfg </td> 
 <td style="vertical-align:top;"> 影子密码文件 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 私人/ authkey.key </td> 
 <td style="vertical-align:top;"> 票务系统使用的私钥 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> priv / pve-root-ca.key </td> 
 <td style="vertical-align:top;"> 群集CA的私钥 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 节点/&lt;NAME&gt;/pve-ssl.pem </td> 
 <td style="vertical-align:top;"> Web服务器的公共SSL证书（由群集CA签名） </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 节点/&lt;NAME&gt;/pve-ssl.key </td> 
 <td style="vertical-align:top;"> pve-ssl.pem的专用SSL密钥 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 节点/&lt;NAME&gt;/pveproxy-ssl.pem </td> 
 <td style="vertical-align:top;"> Web服务器的公共SSL证书（链）（pve-ssl.pem的可选替代） </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 节点/&lt;NAME&gt;/pveproxy-ssl.key </td> 
 <td style="vertical-align:top;"> pveproxy-ssl.pem的专用SSL密钥（可选） </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 节点/&lt;NAME&gt;/qemu-server/&lt;VMID&gt;.conf </td> 
 <td style="vertical-align:top;"> KVM VM的VM配置数据 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 节点/ &lt;名称&gt; / lxc / &lt;VMID&gt; .conf </td> 
 <td style="vertical-align:top;"> LXC容器的VM配置数据 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 防火墙/群集.fw </td> 
 <td style="vertical-align:top;"> 防火墙配置已应用于所有节点 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 防火墙/&lt;NAME&gt;.fw </td> 
 <td style="vertical-align:top;"> 单个节点的防火墙配置 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 防火墙/&lt;VMID&gt;.fw </td> 
 <td style="vertical-align:top;"> VM和容器的防火墙配置 </td> 
 </tr> 
 </tbody> 
</table>

**7.4.2****。符号链接**

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 本地 </td> 
 <td style="border-color:#527bbd;vertical-align:top;"> 节点/ &lt;LOCAL_HOST_NAME&gt; </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> qemu服务器 </td> 
 <td style="vertical-align:top;"> 节点/ &lt;LOCAL_HOST_NAME&gt; / qemu-server / </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> x </td> 
 <td style="vertical-align:top;"> 节点/ &lt;LOCAL_HOST_NAME&gt; / lxc / </td> 
 </tr> 
 </tbody> 
</table>

**7.4.3****。用于调试的特殊状态文件（****JSON****）**

<table> 
 <tbody> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 。版 </td> 
 <td style="border-color:#527bbd;vertical-align:top;"> 文件版本（检测文件修改） </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> 。成员 </td> 
 <td style="vertical-align:top;"> 有关集群成员的信息 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> .vmlist </td> 
 <td style="vertical-align:top;"> 所有虚拟机列表 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> .clusterlog </td> 
 <td style="vertical-align:top;"> 群集日志（最近50个条目） </td> 
 </tr> 
 <tr> 
 <td style="border-color:#527bbd;vertical-align:top;"> .rrd </td> 
 <td style="vertical-align:top;"> RRD数据（最新条目） </td> 
 </tr> 
 </tbody> 
</table>

**7.4.4****。启用****/****禁用调试**

您可以使用以下命令启用详细的系统日志消息：

回声“ 1”> /etc/pve/.debug

并使用以下命令禁用详细的系统日志消息：

回声“ 0”> /etc/pve/.debug

**7.5****。复苏**

如果您的Proxmox VE主机存在重大问题（例如硬件问题），则仅复制pmxcfs数据库文件/var/lib/pve-cluster/config.db并将其移至新的Proxmox VE主机可能会有所帮助 。在新主机（没有任何运行）上，您需要停止 pve-cluster服务并替换config.db文件（需要权限 0600）。其次，根据丢失的Proxmox VE主机改编/ etc / hostname和/ etc / hosts，然后重新启动并检查。（并且不要忘记您的VM / CT数据）

**7.5.1****。删除集群配置**

建议的方法是从群集中删除节点后重新安装该节点。这样可以确保销毁所有秘密群集/ ssh密钥和所有共享的配置数据。

在某些情况下，您可能希望将节点放回本地模式而不进行重新安装，这在[不重新安装的单独节点中进行了][Link 1]描述。

**7.5.2****。从发生故障的节点中恢复****/****移动来宾**

对于节点/ <NAME> / qemu-server /（VM）和 节点/ <NAME> / lxc /（容器）中的来宾配置文件，Proxmox VE将包含的节点<NAME>视为各自来宾的所有者。此概念允许使用本地锁代替昂贵的群集范围锁，以防止并发来宾配置发生更改。

结果，如果客户机的拥有节点发生故障（例如，由于断电，防护事件等），则无法进行常规迁移（即使所有磁盘都位于共享存储上），因为这样的本地无法获得（死）拥有节点上的锁定。对于HA管理的来宾来说，这不是问题，因为Proxmox VE的高可用性堆栈包括必要的（群集范围内）锁定和看门狗功能，以确保从受防护节点正确，自动地恢复来宾。

如果非HA管理的来宾仅具有共享磁盘（并且未配置仅在故障节点上可用的其他本地资源），则可以通过简单地从/ etc中故障节点目录中移动来宾配置文件来进行手动恢复。/ pve /到活动节点的目录（这将更改来宾的逻辑所有者或位置）。

例如，具有ID回收VM 100从死节点1到另一个节点节点2登录的群集的任何成员节点上根时作品与所执行的以下命令：

mv /etc/pve/nodes/node1/qemu-server/100.conf / etc / pve / nodes / node2 /

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;">&nbsp;</td> 
 <td> 像这样手动恢复guest虚拟机之前，请绝对确保发生故障的源节点已真正关闭电源。否则，mv命令会违反Proxmox VE的锁定原则，这可能会带来意想不到的后果。 </td> 
 </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;">&nbsp;</td> 
 <td> 这样，使用本地磁盘（或仅在死节点上可用的其他本地资源）的来宾无法恢复。等待失败的节点重新加入群集，或者从备份中还原此类来宾。 </td> 
 </tr> 
 </tbody> 
</table>

[Corosync]: http://www.corosync.org/
[SQlite]: http://www.sqlite.org/
[FUSE]: http://fuse.sourceforge.net/
[Link 1]: https://pve.proxmox.com/pve-docs/pve-admin-guide.html#pvecm_separate_node_without_reinstall