WebNX 1TB SSD IO Benchmark

Quadranet 的 硬件实在太老了,WebNX 以硬件好,网络好而著称, 刚订购的服务器自带两个1TB SSD,而且通过smart 查询到,是全新的SSD,真是太爽了

测试使用的程序:

wget -qO- bench.sh | bash

先在promox 6.0 的Host 上测试一下IO:

----------------------------------------------------------------------
CPU model : Intel(R) Xeon(R) CPU E5-1650 v3 @ 3.50GHz
Number of cores : 12
CPU frequency : 3600.230 MHz
Total size of Disk : 94.0 GB (1.7 GB Used)
Total amount of Mem : 64307 MB (1237 MB Used)
Total amount of Swap : 8191 MB (0 MB Used)
System uptime : 0 days, 0 hour 34 min
Load average : 0.00, 0.00, 0.00
OS : Debian GNU/Linux 10
Arch : x86_64 (64 Bit)
Kernel : 5.0.15-1-pve
----------------------------------------------------------------------
I/O speed(1st run) : 406 MB/s
I/O speed(2nd run) : 406 MB/s
I/O speed(3rd run) : 405 MB/s
Average I/O speed : 405.7 MB/s

然后再proxmox上建立一个CentOS 7 的VM,在测试一下IO:

----------------------------------------------------------------------
CPU model : Common KVM processor
Number of cores : 4
CPU frequency : 3499.996 MHz
Total size of Disk : 29.0 GB (1.2 GB Used)
Total amount of Mem : 4358 MB (124 MB Used)
Total amount of Swap : 3275 MB (0 MB Used)
System uptime : 0 days, 0 hour 2 min
Load average : 0.20, 0.05, 0.02
OS : CentOS 7.6.1810
Arch : x86_64 (64 Bit)
Kernel : 3.10.0-957.el7.x86_64
----------------------------------------------------------------------
I/O speed(1st run) : 452 MB/s
I/O speed(2nd run) : 455 MB/s
I/O speed(3rd run) : 448 MB/s
Average I/O speed : 451.7 MB/s

下面在裸机上直接安装CentOS,来测试一下IO Benchmark:

----------------------------------------------------------------------
CPU model : Intel(R) Xeon(R) CPU E5-1650 v3 @ 3.50GHz
Number of cores : 12
CPU frequency : 1199.920 MHz
Total size of Disk : 873.3 GB (1.3 GB Used)
Total amount of Mem : 64316 MB (503 MB Used)
Total amount of Swap : 7628 MB (0 MB Used)
System uptime : 0 days, 0 hour 7 min
Load average : 0.13, 0.07, 0.05
OS : CentOS 7.6.1810
Arch : x86_64 (64 Bit)
Kernel : 3.10.0-957.el7.x86_64
----------------------------------------------------------------------
I/O speed(1st run) : 390 MB/s
I/O speed(2nd run) : 390 MB/s
I/O speed(3rd run) : 389 MB/s
Average I/O speed : 389.7 MB/s

看来Proxmox 是有什么cache加成,造成IO 的测试最快

ESXi 和VCSA 安装部署的大概步骤

ESXi 对硬件的要求比较高,而且也比较挑硬件,建议安装之前去vmware的官方网站仔细查看一下兼容性

硬件要求: Intel 的 CPU 最少要有两个core且 打开VT-x, 并且内存最少是8GB,Hypervisor 需要4GB,另外最少4GB安装VM

ESXi 和 VCSA 的部署严重依赖DNS 的解析,因此ESXi 和 VCSA 使用的FQDN一定要配置好DNS

1 用IPMI 安装ESXi

2 在DCUI界面,按F2配置ESXi management network,配置IPv4,关闭IPv6(需要重启), 配置DNS和hostname, hostname 如果不是FQDN,需要配置DNS suffix,然后重启

3 用ESXi所在的Host IP登录,添加NTP server

4 打开SSH权限,将sata 的driver 回退到sata-achi,然后关闭SSH权限。从安全上考虑,仅在需要SSH的时候再打开SSH,否则建议关闭

5 添加ESXi授权

 

部署VCSA, VCSA 的安装最好通过远程的 windows上(因为本地网速达不到),对于windows来说,系统需要最少4 core 或者vCPU, 4GB RAM, 32GB storage

在vmware 的官方网站上下载好VCSA 的iso后,把他mount 在远程windows 上的虚拟光驱上,点击vcsa-ui-installer -> win32 -> installer.exe 就可以开始

安装过程简单易懂,在选择datastore 的时候可以选择 Thin Provisioning -> “Enable Thin Disk Mode”

在第二阶段的安装过程中, SSO domain 最好选择使用默认的”vsphere.local”

Online.net SSD 独服裸机benchmark

在这台服务器上测试了Xen, KVM 和 Esxi 虚拟化之后,再次在这个服务器上安装了centos 7 来测试非虚拟化的条件下, SSD 的IO 符合

SSD 使用的是镁光的1100

测试程序使用的是:

wget -qO- bench.sh | bash

下面是测试结果:

----------------------------------------------------------------------
CPU model : Intel(R) Xeon(R) CPU E5-1650 v3 @ 3.50GHz
Number of cores : 12
CPU frequency : 1200.134 MHz
Total size of Disk : 462.3 GB (1.5 GB Used)
Total amount of Mem : 96565 MB (802 MB Used)
Total amount of Swap : 8191 MB (0 MB Used)
System uptime : 0 days, 0 hour 3 min
Load average : 0.36, 0.23, 0.10
OS : CentOS 7.6.1810
Arch : x86_64 (64 Bit)
Kernel : 3.10.0-957.el7.x86_64
----------------------------------------------------------------------
I/O speed(1st run) : 402 MB/s
I/O speed(2nd run) : 395 MB/s
I/O speed(3rd run) : 397 MB/s
Average I/O speed : 398.0 MB/s

可以看到的在KVM 和 Esxi 的虚拟化条件下, SSD 的IO 和裸机的IO 基本保持一致, 其中Esxi 可能是因为驱动的原因,稍微强那么一点点

Xen 的虚拟化没有做任何优化, SSD 的IO 只有KVM 和 ESXi 的一半

Online.net SSD 基于KVM虚拟化的benchmark

机器为online.net 的 SSD 机器, VM 配置是4 vCPU 和 4 GB RAM

测试使用程序为:

wget -qO- bench.sh | bash

以下是测试结果:

----------------------------------------------------------------------
CPU model : Common KVM processor
Number of cores : 4
CPU frequency : 3495.948 MHz
Total size of Disk : 28.0 GB (1.1 GB Used)
Total amount of Mem : 4354 MB (73 MB Used)
Total amount of Swap : 4509 MB (0 MB Used)
System uptime : 0 days, 0 hour 4 min
Load average : 0.02, 0.05, 0.01
OS : Debian GNU/Linux 10
Arch : x86_64 (64 Bit)
Kernel : 4.19.0-5-amd64
----------------------------------------------------------------------
I/O speed(1st run) : 359 MB/s
I/O speed(2nd run) : 351 MB/s
I/O speed(3rd run) : 358 MB/s
Average I/O speed : 356.0 MB/s

在disk 打开cache(write back)以后的测试结果:
----------------------------------------------------------------------
CPU model            : Common KVM processor
Number of cores      : 4
CPU frequency        : 3495.948 MHz
Total size of Disk   : 28.0 GB (1.1 GB Used)
Total amount of Mem  : 4354 MB (70 MB Used)
Total amount of Swap : 4509 MB (0 MB Used)
System uptime        : 0 days, 0 hour 1 min
Load average         : 0.00, 0.00, 0.00
OS                   : Debian GNU/Linux 10
Arch                 : x86_64 (64 Bit)
Kernel               : 4.19.0-5-amd64
----------------------------------------------------------------------
I/O speed(1st run)   : 378 MB/s
I/O speed(2nd run)   : 369 MB/s
I/O speed(3rd run)   : 374 MB/s
Average I/O speed    : 373.7 MB/s

Quadranet HDD VM benchmark

母鸡是Quadranet 的一台古董机,硬盘是使用了快5年的HDD, 虚拟化使用的是Xen, 管理工具是Xenserver

测试使用程序:

wget -qO- bench.sh | bash

下面是测试结果:

----------------------------------------------------------------------
CPU model : Intel(R) Xeon(R) CPU E3-1241 v3 @ 3.50GHz
Number of cores : 2
CPU frequency : 3500.404 MHz
Total size of Disk : 28.3 GB (2.1 GB Used)
Total amount of Mem : 1402 MB (166 MB Used)
Total amount of Swap : 1906 MB (0 MB Used)
System uptime : 94 days, 1 hour 16 min
Load average : 0.00, 0.01, 0.05
OS : CentOS 7.6.1810
Arch : x86_64 (64 Bit)
Kernel : 3.10.0-957.1.3.el7.x86_64
----------------------------------------------------------------------
I/O speed(1st run) : 34.8 MB/s
I/O speed(2nd run) : 37.0 MB/s
I/O speed(3rd run) : 36.9 MB/s
Average I/O speed : 36.2 MB/s

 

Digitalocean VM benchmark

测试使用的程序为:

wget -qO- bench.sh | bash

下面是测试结果:

----------------------------------------------------------------------
CPU model : Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz
Number of cores : 1
CPU frequency : 2199.998 MHz
Total size of Disk : 25.0 GB (5.1 GB Used)
Total amount of Mem : 991 MB (361 MB Used)
Total amount of Swap : 2047 MB (0 MB Used)
System uptime : 296 days, 22 hour 43 min
Load average : 0.00, 0.02, 0.05
OS : CentOS 7.5.1804
Arch : x86_64 (64 Bit)
Kernel : 3.10.0-862.14.4.el7.x86_64
----------------------------------------------------------------------
I/O speed(1st run) : 560 MB/s
I/O speed(2nd run) : 550 MB/s
I/O speed(3rd run) : 446 MB/s
Average I/O speed : 518.7 MB/s

AWS Lightsail benchmark

Lightsail  的IO 和选择的配置有关,配置越高, IO 越高

使用的程序为:

wget -qO- bench.sh | bash

下面是测试结果:

----------------------------------------------------------------------
CPU model : Intel(R) Xeon(R) CPU E5-2676 v3 @ 2.40GHz
Number of cores : 2
CPU frequency : 2400.130 MHz
Total size of Disk : 160.0 GB (5.2 GB Used)
Total amount of Mem : 7819 MB (689 MB Used)
Total amount of Swap : 0 MB (0 MB Used)
System uptime : 78 days, 21 hour 5 min
Load average : 0.00, 0.01, 0.05
OS : CentOS 7.6.1810
Arch : x86_64 (64 Bit)
Kernel : 3.10.0-957.12.2.el7.x86_64
----------------------------------------------------------------------
I/O speed(1st run) : 139 MB/s
I/O speed(2nd run) : 130 MB/s
I/O speed(3rd run) : 130 MB/s
Average I/O speed : 133.0 MB/s