PVE+Ceph 超融合项目之硬件性能基线测试

在时间线上，本测试在Proxmox VE+Ceph 3节点超融合平台百万IOPS挑战之前，可与本文结合着一起看，实验中引用的数据，有相互印证。

对存储和网络性能进行基线测试，测试目的是在不使用Ceph的情况下，确定平台的理论硬件性能最大值。用到工具有FIO、CrystalDiskMark、iPerf，在没有Ceph性能损耗的前提下，确定驱动器和网络环境的极值。

一、硬件配置

二、网络测试

将6张网卡做ovs bond，对应的4台交换机堆叠为VSU后视为一台交换机，相应端口做跨物理设备的LACP聚合，拓扑示意如图所示：

服务器均安装最新的Debian操作系统，以iperf3为测试工具，取得测试结果如下：

任选2个节点，分别做双向测试，节点间网络带宽最高达57.3Gbps，基本跑满了6个10Gbps的端口聚合后可以达到的极限值。

三、高速SSD基准测试

在裸金属服务器上，分别安装Debian和Windows操作系统，通过物理机操作系统直接对NvME SSD设备进行基准测试，实验结果显示高速SSD盘：

在Debian操作系统下，4K随机写可达51.2万IOPS，4K随机读可达59.8万IOPS；

在Windows操作系统下，实验结果更高，这与测试时使用的队列深度及进程数有关。

四、容量型SSD基准测试

在裸金属服务器上，分别安装Debian和Windows操作系统，通过物理机操作系统直接对SATA SSD设备进行基准测试，实验结果显示容量型SSD盘：

在Debian操作系统下，4K随机写可达63.3K IOPS，4K随机读可达56KIOPS；

在Windows操作系统下，实验结果更高，这与测试时使用的队列深度及进程数有关。

五、虚拟化环境下高速SSD基准测试

实验环境是用4台虚拟windows 2019，挂载同一块p4800x，这块nvme ssd平均分为4个区，每台虚拟windows2019挂64G，同时跑压测，在物理机上得到的数据。