PVE&Ceph&Bcache 超融合项目之部署实施方案(三)

如果第一次刷到这个系列的文章，可能会看得一头雾水，这是某超融合项目的一部分，前两篇的传送门在这里：

PVE&Ceph&Bcache 超融合项目之部署实施方案（一）

PVE&Ceph&Bcache 超融合项目之部署实施方案（二）

五、虚拟网络规划与配置

5.1 PVE虚拟网络拓扑

本次超融合项目的虚拟网络的核心架构是在PVE虚拟化平台上创建虚拟交换机（OVS类型）、创建虚拟主机，并与物理交换机、路由器一起，组建管理网以及业务网。虚拟主机通过接入到虚拟交换机中实现相互通信，虚拟交换机接入到物理交换机中，物理交换机接入到虚拟路由器中，组成虚拟网络与物理网络互联互通的混合网络，如图23所示。

5.2 PVE虚拟网络简介

Proxmox VE基于Debian Linux操作系统，Debian Linux操作系统支持原生的虚拟网络有Linux Bridge、Linux Bond及Linux VLAN三种类型。Proxmox VE同时集成了Open vSwitch（OVS）开放虚拟交换机组件，所以Proxmox VE的原生虚拟网络除了Linux Bridge、Linux Bond及Linux VLAN这三种类型之外，还包括Open vSwitch类型，如图24所示。

根据Proxmox VE官网的wiki文档《Open vSwitch》介绍，Open vSwitch和Linux Bridge、Linux Bond或Linux VLAN不能混合使用。例如，不要尝试将Linux VLAN添加到OVS Bond，或将Linux Bond添加到OVS Bridge，反之亦然。Open vSwitch是专门为在虚拟化环境中运行而定制的，无需使用主机自带的Linux Bridge、Linux Bond或Linux VLAN等功能，如图25所示。

在本项目中，Proxmox VE的虚拟网络使用Open vSwitch，不使用Linux原生虚拟网络。

5.3.节点1的PVE虚拟网络配置

如图23中的虚拟网络与物理网络的混合架构看起来非常复杂，以致于不得不删减了一些跟集群相关的虚拟网，为了方便进行配置，有必要对图23的网络架构进行解构，进行还原，节点1的PVE虚拟网络如图26所示。

5.3.1.管理网络配置

根据表2和表3，管理网络的VLAN ID是VLAN 400，包括节点1的PVE系统的管理网卡划分到VLAN400。节点1服务器的IDRaC接口划分到VLAN 600，其中VLAN 400和VLAN 600的虚拟IP地址在S10504上。在Proxmox VE系统中下，Bridge（网桥）等同于Switch（交换机）。节点1的虚拟网络配置，如图27所示。

下面开始节点1的管理网络的配置，有了图27的完成效果，下面这些步骤就好理解了。

第一步：创建名称为“vmbr0”的OVS Bridge（虚拟交换机），并将“eno3”物理接口捆绑到虚拟交换机，如图28所示。

注：eno1和eno2的类型是“网络设备”，这表明是物理接口。当物理接口eno1和eno2被捆绑到虚拟交换机之后，eno1和eno2的类型就会变成“OVS Port”，也就是成为虚拟交换机上的接口，这个接口是可以使用物理网线直接连接的，仍然属于物理接口，只不过在虚拟交换机上，变了个称呼，叫“OVS Port”。

第二步：配置“eno3”的VLAN属性，VLAN属性与物理交换机相对应的接口保持一致，如图29所示。

OVS Port是物理接口“eno3”在虚拟交换机上的接口属性，本质上是一个物理接口，可以使用网线将“eno3”与物理交换机S10504的G2/0/11接口连接起来，所以“eno3”的VLAN属性与G2/0/11的VLAN属性要一致，才能进行通信。需要注意，这是维护期的配置，交付后vmbr0将被删除，将再创建一个名为“kernel”的IntPort端口，桥接vmbr2，指定VLAN 400,指定如图28的IP，作为管理口日常使用。 “kernel”虚拟接口中填写了默认网关“192.168.75.8”，整个节点1的PVE虚拟网络只能有一个默认网关，类似于物理主机只能有一个默认网关。

第三步：创建名称为“br1ceph_public”的OVS IntPort（虚拟接口），并将“br1ceph_public”虚拟接口捆绑到虚拟交换机vmbr2上，如图30所示。

OVS IntPort与OVS Port的区别就是，OVS IntPort是一个虚拟接口，是OVS虚拟出来的一个接口，无法连接网线的，而OVS Port是可以的。OVS IntPort如果要与物理网络通信，需要与物理接口（OVS Port）比如说“eno3”捆绑到同一个虚拟交换机上，且该虚拟交换机不能直接配置IP地址。

如果节点服务器的物理网卡数量多，也可以直接使用物理接口捆绑虚拟交换机，然后直接给虚拟交换机配置管理IP地址，而不需要使用IntPort接口。但为了提高可用性，并不建议这样做。本项目中，PVE虚拟网络只有二层交换，不涉及到IP路由，无需创建虚拟路由器，现有网络环境中，已有办公、测试、开发网络的虚拟路由器，该虚拟环境的IP路由算法由物理网络设备负责。

5.3.2 OVS bond 的配置

图19、图20展示过交换机端的端口聚合情况，相应的，PVE端也要对物理网卡进行聚合操作，在OVS语境中，要创建ovs bond，在此说明，规划中是做2组聚合，形成本文档时，是一边搭建性能验证环境，一边完成的，性能验证环境中，将6个物理端口聚合在一起，如图31所示。生产环境是集群网络与业务网络分离的模式，集群网络与公共网络名称前缀br1与br2的区别，也是为了生产部署时用于区分。实际配置时与此类似，不再赘述。这里要注意bond模式，此处选择LACP(balance-tcp)，要与交换机端配合调整，否则不通。包含的端口有哪些，图31显示不完全，可以结合图27一并查看。

5.3.3集群网络配置

根据表2和表3，集群网络的VLAN ID 是700，各个节点的集群采用VLAN 700进行通信。由于节点1服务器上所有万兆光口物理网卡都聚合为bond2，节点1的集群通信采用ovs IntPort虚拟接口。

第一步：创建名称为“br2ceph_cluster”的OVS IntPort（虚拟接口），并将“br2ceph_cluster”虚拟接口捆绑到虚拟交换机vmbr1上，如图32所示。

“br2ceph_cluster”虚拟接口捆绑到虚拟交换机vmbr2上，使用聚合接口bond2，通过6个物理接口进行通信，因此所有物理接口都要允许VLAN700透传。

交换机端的接口均在Eth-trunk聚合组中，因此为此聚合组设置相关参数即可，如图33所示。

5.3.4 配置调整经验

Ovs bridge的本意就是桥，它也是物理设备与虚拟设备的桥，ovs bond、ovs intport、ovs port都桥接在其上，如果删除ovs bridge，所有接口配置都会丢失，参数调整时要注意。而一个接口一旦绑定了桥，它的ovs bridge参数就不能再修改了，如图34所示，即便创建临时桥，指定为从属端口也不行。此时可以在节点服务器的终端命令行下,通过直接修改/etc/network/interfaces 配置文件的方式调整端口配置，如图35所示。

5.4.节点2的PVE虚拟网络配置

节点2的PVE虚拟网络配置与节点1的类似，这里就不再演示，只给出虚拟节点2的PVE虚拟网络架构图和节点2的虚拟网络配置图，如图36和图37所示。

5.5.节点3的PVE虚拟网络配置

节点3的PVE虚拟网络配置与节点1的类似，这里就不再演示，只给出虚拟节点3的PVE虚拟网络架构图和节点3的虚拟网络配置图，如图38和图39所示。

5.6.各节点虚拟主机网络配置

根据图26、图36以及图38所示，各节点的虚拟主机的网络配置就很简单了，这里只演示节点1的VM1虚拟机网络配置，其他节点不再演示。

第一步：在节点1的PVE上将VM100的虚拟网卡捆绑到虚拟交换机vmbr2上，vlan标签为600

选择“VM1→硬件→网络设备（net0）→编辑”，如图40所示。

第二步：根据表4的IP地址规划，在VM100上配置相对于的IP地址和网关，如图41所示。