Xenserver 的VM 的基本benchmarks

服务器仍然为online.net 的服务器,硬盘是 3 x 500 GB SSD

测试使用的程序:

wget -qO- bench.sh | bash

VM 的配置为:

8 vCPU
8GB RAM
80GB SSD

下面是测试结果(主要侧重于IO测试):

----------------------------------------------------------------------
CPU model            : Intel(R) Xeon(R) CPU E5-1650 v3 @ 3.50GHz
Number of cores      : 8
CPU frequency        : 3493.688 MHz
Total size of Disk   : 71.3 GB (2.0 GB Used)
Total amount of Mem  : 8040 MB (203 MB Used)
Total amount of Swap : 7628 MB (0 MB Used)
System uptime        : 2 days, 8 hour 12 min
Load average         : 0.08, 0.02, 0.01
OS                   : Debian GNU/Linux 9
Arch                 : x86_64 (64 Bit)
Kernel               : 4.9.0-8-amd64
----------------------------------------------------------------------
I/O speed(1st run)   : 235 MB/s
I/O speed(2nd run)   : 234 MB/s
I/O speed(3rd run)   : 214 MB/s
Average I/O speed    : 227.7 MB/s

 

VMware vSphere 6.7 VM IO Benchmark

测试使用的程序:

wget -qO- bench.sh | bash

VM配置:

Debian 10

4 vCPU

4GB RAM

50GB SSD

online.net 的 独立服务器,服务器为3 X 500 GB SSD

在使用新的ahci driver (vmw_achi)的情况下:

CPU model : Intel(R) Xeon(R) CPU E5-1650 v3 @ 3.50GHz
Number of cores : 4
CPU frequency : 3495.951 MHz
Total size of Disk : 46.0 GB (0.9 GB Used)
Total amount of Mem : 3946 MB (133 MB Used)
Total amount of Swap : 4092 MB (0 MB Used)
System uptime : 0 days, 0 hour 55 min
Load average : 0.00, 0.00, 0.00
OS : Debian GNU/Linux 10
Arch : x86_64 (64 Bit)
Kernel : 4.19.0-5-amd64
----------------------------------------------------------------------
I/O speed(1st run) : 77.6 MB/s
I/O speed(2nd run) : 79.3 MB/s
I/O speed(3rd run) : 76.9 MB/s
Average I/O speed : 77.9 MB/s
-----------------------------------

在退回旧的ahci driver(sata-achi)的情况下:

----------------------------------------------------------------------
CPU model : Intel(R) Xeon(R) CPU E5-1650 v3 @ 3.50GHz
Number of cores : 4
CPU frequency : 3495.951 MHz
Total size of Disk : 46.0 GB (0.9 GB Used)
Total amount of Mem : 3946 MB (101 MB Used)
Total amount of Swap : 4092 MB (0 MB Used)
System uptime : 0 days, 0 hour 1 min
Load average : 0.02, 0.01, 0.00
OS : Debian GNU/Linux 10
Arch : x86_64 (64 Bit)
Kernel : 4.19.0-5-amd64
----------------------------------------------------------------------
I/O speed(1st run) : 407 MB/s
I/O speed(2nd run) : 408 MB/s
I/O speed(3rd run) : 407 MB/s
Average I/O speed : 407.3 MB/s

基本回到了满速,这个IO 甚是欣慰,虽然比使用纯ssd 要慢点,但还是可以接受的

ESXi 6.7 的这个IO 问题,从6.5 就一直存在,但是到了6.7 还是没有解决

在ESXi 的host上,使用如下命令可以看到:

[[email protected]:~] esxcli software vib list | grep ahci
sata-ahci 3.0-22vmw.650.0.0.4564106 VMW VMwareCertified 2016-11-16
vmw-ahci 1.0.0-32vmw.650.0.0.4564106 VMW VMwareCertified 2016-11-16

说明系统上存在两种driver,一个是sata-achi, 另外一个是vmw-achi. VMware 在vShpere 新的版本中,对于sata 都采用了全新的driver vmw-achi, 目前看来这个driver 还是有一定问题的,因此最好是回退到原来的driver中去

直接登录VMware 的 host,storage -> Adapters, 可以看到driver 用的是vmw_achi

我们需要将这个driver 回退到sata_achi中去:

[[email protected]:~] esxcli system module set --enabled=false --module="vmw_ahci"
[[email protected]:~] esxcli system module list | more
Name Is Loaded Is Enabled
----------------------------- --------- ----------
vmkernel true true
chardevs true true
user true true
....

....
vmkapi_v2_1_0_0_vmkernel_shim true true
vmkusb true true
igbn true true
vmw_ahci true false
iscsi_trans true true
iscsi_trans_compat_shim true true
vmkapi_v2_2_0_0_iscsiInc_shim true true

重启,我们就会发现driver 已经回退到sata-achi了, SSD 的性能又回来了

参考文章: https://anthonyspiteri.net/homelab-supermicro-5020d-tnt4-storage-driver-performance-issues-and-fix/#prettyPhoto

https://kb.vmware.com/s/article/2044993

https://communities.vmware.com/thread/554004

 

阿里云香港HKB简配benchmark

新开一台服务器来做reverse proxy,正好先测一下benchmark

———————————————————————-
CPU model : Intel(R) Xeon(R) Platinum 8163 CPU @ 2.50GHz
Number of cores : 1
CPU frequency : 2494.136 MHz
Total size of Disk : 40.0 GB (1.7 GB Used)
Total amount of Mem : 991 MB (54 MB Used)
Total amount of Swap : 0 MB (0 MB Used)
System uptime : 0 days, 0 hour 4 min
Load average : 0.01, 0.04, 0.03
OS : CentOS 7.6.1810
Arch : x86_64 (64 Bit)
Kernel : 3.10.0-957.1.3.el7.x86_64
———————————————————————-
I/O speed(1st run) : 146 MB/s
I/O speed(2nd run) : 147 MB/s
I/O speed(3rd run) : 146 MB/s
Average I/O speed : 146.3 MB/s
———————————————————————-

Platinum 8163应该是intel定制的新的CPU. 这是阿里云第四代服务器采用的CPU,Skylake架构,主频2.5GHz,计算性能问题。8163这款型号在intel官网上并没有相关信息,应该是阿里云向阿里云定制的,与之相近的Intel Xeon Platinum 8168,价格是$5890,约合¥38900元。

此类服务器提供的ECS实例族包括通用型实例g5、计算型实例c5、内存型实例r5、本地 SSD 型实例 i2、突发性能实例 t5、超级计算集群计算型实例规格族 scc、通用型神龙云服务器规格族 ebmg5等。

 

阿里云平台的ecs服务器大多使用intel 至强处理器,而且大多是定制版,包括Platinum(铂金) 8163、Gold(金牌) 6150、Gold(金牌) 6149、E5-2682v4、E5-2680v3、E5-2667v4以及E3-1240v6等CPU。

 

Novogara 的母鸡切小鸡Benchmark

这是荷兰一台服务器切成的小鸡的benchmark,看来都比quadranet 的要好。。

 

Benchmark started on Fri Aug 18 05:03:52 EDT 2017
Full benchmark log: /root/bench.log

System Info
-----------
Processor : Intel(R) Xeon(R) CPU E3-1270 v3 @ 3.50GHz
CPU Cores : 2
Frequency : 3500.076 MHz
Memory : 1821 MB
Swap : 3903 MB
Uptime : 3 min,

OS : CentOS release 6.9 (Final)
Arch : x86_64 (64 Bit)
Kernel : 2.6.32-696.6.3.el6.x86_64
Hostname : XXX



Speedtest (IPv4 only)
---------------------
Your public IPv4 is xxxxxx

Location Provider Speed
CDN Cachefly 109MB/s

Atlanta, GA, US Coloat 15.1MB/s
Dallas, TX, US Softlayer 6.85MB/s
Seattle, WA, US Softlayer 12.7MB/s
San Jose, CA, US Softlayer 12.4MB/s
Washington, DC, US Softlayer 9.26MB/s

Tokyo, Japan Linode 7.41MB/s
Singapore Softlayer 6.73MB/s

Rotterdam, Netherlands id3.net 97.7MB/s
Haarlem, Netherlands Leaseweb 58.8MB/s



Disk Speed
----------
I/O (1st run) : 87.2 MB/s
I/O (2nd run) : 75.8 MB/s
I/O (3rd run) : 75.8 MB/s
Average I/O : 79.6 MB/s

Quadranet 母鸡切小鸡benchmark

这是在我的一台母鸡上切的小鸡,进行的benchmark

母鸡是普通硬盘 RAID 10

 

System Info
-----------
Processor : Intel(R) Xeon(R) CPU E3-1241 v3 @ 3.50GHz
CPU Cores : 8
Frequency : 3500.070 MHz
Memory : 7839 MB
Swap : 10199 MB
Uptime : 14:10,

OS : CentOS release 6.9 (Final)
Arch : x86_64 (64 Bit)
Kernel : 2.6.32-696.3.2.el6.x86_64
Hostname : www.google.com



Speedtest (IPv4 only)
---------------------
Your public IPv4 is XX.XX.XXX.XX

Location Provider Speed
CDN Cachefly 84.9MB/s

Atlanta, GA, US Coloat 15.2MB/s
Dallas, TX, US Softlayer 56.5MB/s
Seattle, WA, US Softlayer 66.4MB/s
San Jose, CA, US Softlayer 90.8MB/s
Washington, DC, US Softlayer 29.1MB/s

Tokyo, Japan Linode 16.7MB/s
Singapore Softlayer 10.7MB/s

Rotterdam, Netherlands id3.net 5.33MB/s
Haarlem, Netherlands Leaseweb 48.1MB/s



Disk Speed
----------
I/O (1st run) : 41.3 MB/s
I/O (2nd run) : 37.0 MB/s
I/O (3rd run) : 37.2 MB/s
Average I/O : 38.5 MB/s