[人工智能] Proxmox VE集群与虚拟网络项目实战（上）

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> Proxmox VE集群与虚拟网络项目实战（上） -> 正文阅读

[人工智能]Proxmox VE集群与虚拟网络项目实战（上）

1. 5G+云上智慧工厂整体网络拓扑

某某公司5G+云上智慧工厂项目整体网络拓扑，如图1所示：

在这里插入图片描述

图1. 5G+云上智慧工厂整体网络拓扑

数据中心：数据中心位于某某公司办公大楼三楼机房，建设内容包括基于超融合技术的本地云资源池、数据中心网络、UPS电源以及机柜，为大数据系统以及业务系统提供承载环境；

移动5G专网：基站采用BBU+AAU拉远方式建设，组网方式为5G SA独立组网，建设内容包括在某某公司厂区部署AAU、在某县移动机房部署BBU、在某市移动机房部署MEC，从MEC到数据中心直接部署云专线实现业务流量回传，从MEC通过传输网接入某省会移动机房5G GC实现非业务流量上公网。

5G接入网：5G接入网的关键设备是5G智能网关，建设内容包括在5G信号覆盖的厂区，部署5G智能网关，5G智能网关上行链路通过5G空口接入5G基站，下行链路通过LAN口或接入工控机/工业一体机做数采，或接入看板系统做回传。

办公监控网：办公监控网为某某公司的既有网络，在5G+云上智慧工厂项目中需要做一定的网络改造，以便实现办公监控网的AI监控终端以及作业终端与数据中心互联互通。改造内容包括在办公监控网出口增加智能网关，采用V-P-N隧道与数据中心互联互通。

AI监控终端：AI监控终端部署在办公监控网，在某某区域、某某区域以及某某区控制室部署AI高清摄像头，AI高清摄像头做数采，然后通过办公监控网的智能网关回传至数据中心的AI后台。

既有作业终端：办公监控网的一些作业终端，如销售经理终端、原料经理终端以及生产经理终端，需要访问数据中心的业务后台，通过办公监控网的智能网关V-P-N通道访问数据中心业务后台。

2. 数据中心建设

某某公司5G+云上智慧工厂项目的数据中心建设，主要包括数据中心物理网络、数据中心UPS电源、数据中心虚拟化平台、数据中心虚拟网络、业务子网隔离、数据中心与办公监控互联等，如图2所示。
在这里插入图片描述

图2. 5G+云上智慧工厂数据中心

数据中心物理网络：在物理网络结构上，采用“路由器+核心交换机”极简二层网络结构，服务器直接接入到核心交换机，提升转发效率。

数据中心UPS电源：一方面数据中心运行着某某公司的核心应用系统和数据系统，另一方面，某某公司强电电力不稳定，经常发生跳闸，所以数据中心UPS电源保护方案不可或缺。

数据中心虚拟化平台：基于PVE虚拟化技术，实现对2台物理服务器的计算资源、存储资源及网络资源进行虚拟化，在虚拟资源池的基础之上，按需提供虚拟机服务，实现一机多跑业务，实现资源灵活配置。

数据中心虚拟网络：虚拟网关、虚拟交换机、虚拟防火墙运行在虚拟化平台之上，5G智能网关则分布在各个分支节点，5G智能网关和数据中心之间配置虚拟网络实现互联互通。

业务子网隔离：SDWAN路由器与数据中心之间，针对业务子网配置***隧道进行加密，从而确保业务数据安全性。

数据中心与办公监控网互联：考虑到办公监控网的上网行为的复杂性，数据中心与办公监控网互联互通需要做好安全控制。在办公监控网的出口部署1台智能网关，通过智能网关建立到数据中心之间的危屁恩隧道，并做好IP访问控制。

2.1. 数据中心建设

在物理网络结构上，采用“路由器+核心交换机”极简二层网络结构，服务器直接接入到核心交换机，提升转发效率。数据中心物理网络拓扑如图3所示。
在这里插入图片描述

图3. 数据中心物理网络拓扑

数据中心物理网络介绍如下：

使用2台华三的S5048PV3-EI交换机做为核心交换机，利用S5048PV3-EI提供二层网络环境，以满足资源灵活调度的需求。
使用1台华为AR101W-S路由器做为数据中心外部网关出口，AR101W-S既是二层网络的网关，又是WAN出口，是数据中心与业务子网互联互通必不可少的设备。

S5048PV3-EI-01的配置实例举例如下：

建立VLAN120、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130-255。并将端口加入相对应的VLAN ID。

[H3C_SW1]vlan 120
[H3C_SW1-vlan120] port GigabitEthernet1/0/1 to GigabitEthernet1/0/4
[H3C_SW1-vlan120]quit

端口设置为TRUNK模式，只允许特定VLAN ID透传。

[H3C_SW1] interface GigabitEthernet1/0/35
[H3C_SW1-GigabitEthernet1/0/35]port link-type trunk
[H3C_SW1-GigabitEthernet1/0/35]port trunk permit vlan 110 120 130 140 150 160 251 to 255
[H3C_SW1-GigabitEthernet1/0/35]undo port trunk permit vlan 1  #缺省vlan1可透传trunk，容易产生环路，关闭掉vlan1。
[H3C_SW1-GigabitEthernet1/0/35]quit

配置VLAN255的IP地址

[H3C_SW1]interface Vlan-interface 255
[H3C_SW1-vlan-interface255]ip address 10.129.255.11 255.255.255.0
[H3C_SW1-vlan-interface255]quit

华三S5048PV3-EI的完整配置、华为路由器AR101W-S完整配置，详见《工程实施》的相关文档。

2.2. 数据中心UPS电源建设

UPS电源保护方案，确保数据中心在停电之后，电力可续航两个小时，防止突然断电而导致的数据丢失和设备非正常关机导致的性能损坏。续航两个小时的UPS电源保护方案，设备选型如表1所示。

表1. 机房UPS电源蓄电池

设备	型号	数量	备注	品牌
UPS电源	YDC9310H	1	380V输入，220V输出，在线式高频机	科士达
蓄电池	KHD100-12	16	12V 100AH阀控式免维护铅酸蓄电池	科士达
电池柜	A16	1	放置16节12V 100AH蓄电池组	科士达

续航两个小时的UPS电源保护方案，网络拓扑如图4所示。

在这里插入图片描述

图4. UPS电源保护方案

2.3. 数据中心虚拟化平台

本项目中，服务器在硬件上，采用两台浪潮服务器NF5280M5做为服务器节点，在软件上，采用PVE虚拟化平台套件，基于超融合技术，实现对2台物理服务器的计算资源、存储资源及网络资源进行虚拟化，在虚拟资源池的基础之上，按需提供虚拟机服务，实现一机多跑业务，实现资源灵活配置。

2.3.1. 服务器硬件平台

本项目中，服务器硬件采用的是浪潮通用服务器NF5280M5，NF5280M6是浪潮一款2U双路高端旗舰机架式服务器，以强劲的计算性能，完善的生态兼容，极致的空间扩展能力，满足各行业应用配置需求，适用于数据分析处理、深度学习分布式存储等多种应用场景。浪潮通用服务器NF5280M5如图5所示。

在这里插入图片描述

图5. 浪潮通用服务器NF5280M5

浪潮通用服务器NF5280M5的技术规格如表2所示：

表2. NF5280M5的技术规格

在这里插入图片描述

2.3.2. 服务器硬件平台

本项目中，服务器软件采用的是PVE虚拟化平台，PVE采用超融合的虚拟化架构，将计算、存储和网络全部实施在一个主机之上，并且支持主机级别的集群功能，无论是对中小型企业还是对规模较大的中型企业，都是一个非常适合的虚拟化平台产品。PVE管理界面如图6所示。
在这里插入图片描述

图6. PVE管理界面

2.3.3. 超融合解决方案架构

PVE超融合虚拟化软件安装在浪潮服务器上，PVE采用超融合虚拟化架构，将计算、存储、网络和安全进行虚拟化，聚合成一个统一的虚拟资源池，为上层平台提供虚拟主机资源服务，然后通过在虚拟机上安装应用所需要的操作系统，就可以在虚拟机上运行业务应用系统。

在本项目中，超融合解决方案架构如图7所示。

在这里插入图片描述

图7. 超融合解决方案架构

2.4. 数据中心虚拟网络

数据中心虚拟网络的核心是在超融合平台上配置虚拟防火墙（RT0）、虚拟路由器（GW1-6）、虚拟交换机1-3。VM7~VM15这9个虚拟机接入虚拟路由器（GW1），VM16虚拟机接入虚拟路由器（GW2），VM18虚拟机接入虚拟路由器（GW6），所有的虚拟路由器接入虚拟交换机1，并通过虚拟防火墙（RT0）进行转发。数据中心虚拟网络的逻辑结构如图8所示。

在这里插入图片描述

图8. 数据中心虚拟网络逻辑结构

2.4.1. 虚拟网络IP地址及VLAN划分

数据中心虚拟网络的IP地址及端口映射表，如表3、表4所示。

表3. 数据中心虚拟网络IP地址及端口映射表

在这里插入图片描述

数据中心虚拟主机的IP地址及端口映射表，如表4所示。

表4. 数据中心虚拟主机IP地址及端口映射表

在这里插入图片描述
虚拟路由器网卡与虚拟主机网卡要进行虚拟连接，必须通过虚拟交换机，即将虚拟路由器的网卡与虚拟主机的网卡捆绑到虚拟主机的某个VLAN 中，那么这两个网卡即可实现虚拟连接，实现数据通信。

虚拟交换机（网桥）实现二层MAC 转发，虚拟路由器实现三层IP 转发。不同虚拟交换机之间无法通信，需要通过虚拟路由器进行三层IP 转发才能通信。

根据图8所示以及表3、表4所示，nda节点的vm103(bg1)业务数据走向路径为：

nda:vm103(bg1):eth0→nda:vmbr1:vlan110→nda:GW1:ens18→nda:GW1:ens19→nda:vmbr1:vlan251→nda:ens41f1→S5048P-02:G1/0/38→S5048P-02:G1/0/35→S5048P-01:G1/0/35→S5048P-01:G1/0/38→ndb:ens41f1→ndb:vmbr1:vlan251→ndb:RT0:ens19
→ndb:RT0:ens18→ndb:vmbr0:vlan255→ndb:ens41f0→S5048P-02:G1/0/37→S5048P-02:G1/0/35→S5048P-01:G1/0/35→S5048P-01:G1/0/1→AR101W-S:GE0→AR101W-S:GE1。

ndb节点的vm104(bg2)业务数据走向路径为：

ndb:vm104(bg2):eth0→ndb:vmbr1:vlan110→ndb:ens41f1→S5048PV3-01:G1/0/38
→S5048PV3-01:G1/0/35→S5048PV3-02:G1/0/35→S5048PV3-02:G1/0/38
→nda:ens41f1→nda:vmbr1:vlan110→nda:GW1:ens18→nda:GW1:ens19→nda:vmbr1:vlan251→nda:ens41f1→S5048PV3-02:G1/0/38→S5048PV3-02:G1/0/35
→S5048PV3-01:G1/0/35→S5048PV3-01:G1/0/38→ndb:ens41f1→ndb:vmbr1:vlan251→
ndb:RT0:ens19→ndb:RT0:ens18→ndb:vmbr0:vlan255→ndb:ens41f0→
S5048PV3-02:G1/0/37→S5048PV3-02:G1/0/35→S5048PV3-01:G1/0/35→S5048PV3-01:G1/0/1→AR101W-S:GE0→AR101W-S:GE4。

从数据走向路径可以发现，假如nda节点出现故障或者nda节点的ens41f1出现故障，将会导致一部分虚拟主机无法使用。这个时候，vm103(bg1)虚拟机迁移到ndb之后，这个故障就可以解决，因为两个节点的网桥配置是相同的，迁移到ndb之后，vm103(bg1)就等于是ndb节点。如果网桥配置不同，如名称不同，vlan也不同，vm103(bg1)绑定nda节点网桥的配置就会与ndb网桥的配置不同，从而导致无法通信。vm103(bg1)迁移到ndb之后（假设其他GW1也一起迁过来），那么vm103(bg1)数据走向路径为：

ndb:vm103(bg1):eth0→ndb:vmbr1:vlan110→ndb:GW1:ens18→ndb:GW1:ens19→ndb:vmbr1:vlan251→ndb:RT0:ens19→ndb:RT0:ens18→ndb:vmbr0:vlan255→ndb:ens41f0→S5048P-02:G1/0/37→S5048P-02:G1/0/35→S5048P-01:G1/0/35→S5048P-01:G1/0/1
→AR101W-S:GE0→AR101W-S:GE1。

从这里可以看出来，nda:vmbr0与ndb:vmbr0互为“备份”，当nda的虚拟机迁移到ndb上，可以直接使用ndb:vmbr0，起到一种灾备作用。

同理，假如nda:ens41f1发生故障，nda:GW1没有迁移到ndb的话，那么整个“110”网段的虚拟主机都无法转发，从而导致“110”网段虚拟主机网络故障。

同理，假如ndb:ens41f1发生故障，ndb:vmbr1:vlan110无法透传，而从导致ndb的“110”网段的虚拟主机无法转发，从而导致ndb的“110”网段虚拟主机网络故障。

2.4.2. 虚拟网络IP地址及VLAN配置

虚拟交换机IP 地址及VLAN 配置

Open vSwitch（OVS）是运行在BVE 虚拟化平台上的虚拟交换机，OVS 自身可以依靠MAC地址学习实现二层数据包转发功能。每个物理服务器有2 张业务网卡（BMC 不属于业务网卡），只需要创建2 个虚拟交换机（网桥）即可。虚拟交换机IP 地址及VLAN 配置步骤如下所示：

第一步：在节点nda中，创建1个名称为“vmbr0”的虚拟交换机，并捆绑物理网卡ens41f0（OVS Port）和虚拟网卡br0mgnt（OVS IntPort）

选择“数据中心→nda→网络→创建→OVS Bridge”，弹出界面如图9 所示。

在这里插入图片描述

图9. 创建vmbr0虚拟交换机

虚拟交换机配置信息如图9 所示。ens41f0是物理网卡，将ens41f0桥接到虚拟交换机vmbr0 上，实现物理网卡ens41f0与虚拟交换机vmbr0 的捆绑，从而实现vmbr0 数据转发。

第二步：在节点nda中，创建1个名称为“br0mgnt”的虚拟网卡，并捆绑虚拟网卡br0mgnt（OVS IntPort）到vmbr0中

选择“数据中心→nda→网络→创建→OVS IntPort”，弹出界面如图10所示。

在这里插入图片描述

图10. 创建br0mgnt虚拟网卡

虚拟网卡名称输入“br0mgnt”，所属网桥OVS Bridge输入“vmbr0”，IP地址及子网掩码输入“10.129.255.10/24”，网关输入“10.129.255.1”，VLAN标签输入“255”，br0mgnt虚拟网卡配置IP地址，该IP地址用于nda节点的管理。

由图9和图10所示，vmbr0中捆绑了1个物理网卡ens41f0和1个虚拟网卡br0mgnt，其中br0mgnt所属vlan为vlan255。而根据规划，物理网络ens41f0需要透传vlan252、vlan253、vlan254、vlan255，因此进一步配置物理网络ens41f0的透传属性，如图11所示。
在这里插入图片描述

图11. 物理网卡ens41f0透传属性

可以发现，br0mgnt属于vlan255，而ens41f0可以透传vlan252、vlan253、vlan254、vlan255，所以ens41f可以透传br0mgnt。

第三步：在节点nda中，创建1个名称为“vmbr1”的虚拟交换机，并捆绑物理网卡ens41f1

选择“数据中心→nda→网络→创建→OVS Bridge”，弹出界面如图12 所示。

在这里插入图片描述

图12. 创建vmbr1虚拟交换机

根据规划，ens41f1需要透传vlan110、vlan120、vlan130、vlan140、vlan150、vlan160、vlan170、vlan180、vlan190、vlan251，因此需要进一步配置ens41f1的vlan属性，如图13所示。

在这里插入图片描述

图13. 配置ens41f1的vlan属性

以上的配置是节点nda的物理网卡ens41f0、虚拟网卡br0mgnt、虚拟网桥vmbr0以及vmbr1的属性配置。

节点ndb的物理网卡ens41f0、虚拟网卡br0mgnt、虚拟网桥vmbr0以及vmbr1的属性配置与nda的类似。

第四步：在节点ndb中，创建1个名称为“vmbr0”的虚拟交换机，并捆绑物理网卡ens41f0（OVS Port）和虚拟网卡br0mgnt（OVS IntPort）

选择“数据中心→ndb→网络→创建→OVS Bridge”，弹出界面如图14 所示。

在这里插入图片描述

图14. 创建vmbr0虚拟交换机

虚拟交换机配置信息如图14 所示。ens41f0是物理网卡，将ens41f0桥接到虚拟交换机vmbr0 上，实现物理网卡ens41f0与虚拟交换机vmbr0 的捆绑，从而实现vmbr0 数据转发。

第五步：在节点ndb中，创建1个名称为“br0mgnt”的虚拟网卡，并捆绑虚拟网卡br0mgnt（OVS IntPort）到vmbr0中

选择“数据中心→nda→网络→创建→OVS IntPort”，弹出界面如图15所示。

在这里插入图片描述

图15. 创建br0mgnt虚拟网卡

虚拟网卡名称输入“br0mgnt”，所属网桥OVS Bridge输入“vmbr0”，IP地址及子网掩码输入“10.129.255.20/24”，网关输入“10.129.255.1”，VLAN标签输入“255”，br0mgnt虚拟网卡配置IP地址，该IP地址用于nda节点的管理。

由图13和图14所示，vmbr0中捆绑了1个物理网卡ens41f0和1个虚拟网卡br0mgnt，其中br0mgnt所属vlan为vlan255。而根据规划，物理网络ens41f0需要透传vlan252、vlan253、vlan254、vlan255，因此进一步配置物理网络ens41f0的透传属性，如图16所示。

在这里插入图片描述