Digitalocean VM benchmark

测试使用的程序为:

wget -qO- bench.sh | bash

下面是测试结果:

----------------------------------------------------------------------
CPU model : Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz
Number of cores : 1
CPU frequency : 2199.998 MHz
Total size of Disk : 25.0 GB (5.1 GB Used)
Total amount of Mem : 991 MB (361 MB Used)
Total amount of Swap : 2047 MB (0 MB Used)
System uptime : 296 days, 22 hour 43 min
Load average : 0.00, 0.02, 0.05
OS : CentOS 7.5.1804
Arch : x86_64 (64 Bit)
Kernel : 3.10.0-862.14.4.el7.x86_64
----------------------------------------------------------------------
I/O speed(1st run) : 560 MB/s
I/O speed(2nd run) : 550 MB/s
I/O speed(3rd run) : 446 MB/s
Average I/O speed : 518.7 MB/s

AWS Lightsail benchmark

Lightsail  的IO 和选择的配置有关,配置越高, IO 越高

使用的程序为:

wget -qO- bench.sh | bash

下面是测试结果:

----------------------------------------------------------------------
CPU model : Intel(R) Xeon(R) CPU E5-2676 v3 @ 2.40GHz
Number of cores : 2
CPU frequency : 2400.130 MHz
Total size of Disk : 160.0 GB (5.2 GB Used)
Total amount of Mem : 7819 MB (689 MB Used)
Total amount of Swap : 0 MB (0 MB Used)
System uptime : 78 days, 21 hour 5 min
Load average : 0.00, 0.01, 0.05
OS : CentOS 7.6.1810
Arch : x86_64 (64 Bit)
Kernel : 3.10.0-957.12.2.el7.x86_64
----------------------------------------------------------------------
I/O speed(1st run) : 139 MB/s
I/O speed(2nd run) : 130 MB/s
I/O speed(3rd run) : 130 MB/s
Average I/O speed : 133.0 MB/s

Linode 达拉斯 VM Benchmark

测试使用的程序:

wget -qO- bench.sh | bash

VM的配置为:

1 vCPU

2GB RAM

30 GB SSD

下面为测试结果:

----------------------------------------------------------------------
CPU model : Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz
Number of cores : 1
CPU frequency : 2799.998 MHz
Total size of Disk : 26.0 GB (9.3 GB Used)
Total amount of Mem : 1976 MB (992 MB Used)
Total amount of Swap : 4095 MB (0 MB Used)
System uptime : 56 days, 6 hour 32 min
Load average : 0.02, 0.06, 0.02
OS : CentOS 6.10
Arch : x86_64 (64 Bit)
Kernel : 5.1.11-x86_64-linode127
----------------------------------------------------------------------
I/O speed(1st run) : 968 MB/s
I/O speed(2nd run) : 962 MB/s
I/O speed(3rd run) : 973 MB/s
Average I/O speed : 967.7 MB/s

Xenserver 的VM 的基本benchmarks

服务器仍然为online.net 的服务器,硬盘是 3 x 500 GB SSD

测试使用的程序:

wget -qO- bench.sh | bash

VM 的配置为:

8 vCPU
8GB RAM
80GB SSD

下面是测试结果(主要侧重于IO测试):

----------------------------------------------------------------------
CPU model            : Intel(R) Xeon(R) CPU E5-1650 v3 @ 3.50GHz
Number of cores      : 8
CPU frequency        : 3493.688 MHz
Total size of Disk   : 71.3 GB (2.0 GB Used)
Total amount of Mem  : 8040 MB (203 MB Used)
Total amount of Swap : 7628 MB (0 MB Used)
System uptime        : 2 days, 8 hour 12 min
Load average         : 0.08, 0.02, 0.01
OS                   : Debian GNU/Linux 9
Arch                 : x86_64 (64 Bit)
Kernel               : 4.9.0-8-amd64
----------------------------------------------------------------------
I/O speed(1st run)   : 235 MB/s
I/O speed(2nd run)   : 234 MB/s
I/O speed(3rd run)   : 214 MB/s
Average I/O speed    : 227.7 MB/s

 

VMware vSphere 6.7 VM IO Benchmark

测试使用的程序:

wget -qO- bench.sh | bash

VM配置:

Debian 10

4 vCPU

4GB RAM

50GB SSD

online.net 的 独立服务器,服务器为3 X 500 GB SSD

在使用新的ahci driver (vmw_achi)的情况下:

CPU model : Intel(R) Xeon(R) CPU E5-1650 v3 @ 3.50GHz
Number of cores : 4
CPU frequency : 3495.951 MHz
Total size of Disk : 46.0 GB (0.9 GB Used)
Total amount of Mem : 3946 MB (133 MB Used)
Total amount of Swap : 4092 MB (0 MB Used)
System uptime : 0 days, 0 hour 55 min
Load average : 0.00, 0.00, 0.00
OS : Debian GNU/Linux 10
Arch : x86_64 (64 Bit)
Kernel : 4.19.0-5-amd64
----------------------------------------------------------------------
I/O speed(1st run) : 77.6 MB/s
I/O speed(2nd run) : 79.3 MB/s
I/O speed(3rd run) : 76.9 MB/s
Average I/O speed : 77.9 MB/s
-----------------------------------

在退回旧的ahci driver(sata-achi)的情况下:

----------------------------------------------------------------------
CPU model : Intel(R) Xeon(R) CPU E5-1650 v3 @ 3.50GHz
Number of cores : 4
CPU frequency : 3495.951 MHz
Total size of Disk : 46.0 GB (0.9 GB Used)
Total amount of Mem : 3946 MB (101 MB Used)
Total amount of Swap : 4092 MB (0 MB Used)
System uptime : 0 days, 0 hour 1 min
Load average : 0.02, 0.01, 0.00
OS : Debian GNU/Linux 10
Arch : x86_64 (64 Bit)
Kernel : 4.19.0-5-amd64
----------------------------------------------------------------------
I/O speed(1st run) : 407 MB/s
I/O speed(2nd run) : 408 MB/s
I/O speed(3rd run) : 407 MB/s
Average I/O speed : 407.3 MB/s

基本回到了满速,这个IO 甚是欣慰,虽然比使用纯ssd 要慢点,但还是可以接受的

ESXi 6.7 的这个IO 问题,从6.5 就一直存在,但是到了6.7 还是没有解决

在ESXi 的host上,使用如下命令可以看到:

[[email protected]:~] esxcli software vib list | grep ahci
sata-ahci 3.0-22vmw.650.0.0.4564106 VMW VMwareCertified 2016-11-16
vmw-ahci 1.0.0-32vmw.650.0.0.4564106 VMW VMwareCertified 2016-11-16

说明系统上存在两种driver,一个是sata-achi, 另外一个是vmw-achi. VMware 在vShpere 新的版本中,对于sata 都采用了全新的driver vmw-achi, 目前看来这个driver 还是有一定问题的,因此最好是回退到原来的driver中去

直接登录VMware 的 host,storage -> Adapters, 可以看到driver 用的是vmw_achi

我们需要将这个driver 回退到sata_achi中去:

[[email protected]:~] esxcli system module set --enabled=false --module="vmw_ahci"
[[email protected]:~] esxcli system module list | more
Name Is Loaded Is Enabled
----------------------------- --------- ----------
vmkernel true true
chardevs true true
user true true
....

....
vmkapi_v2_1_0_0_vmkernel_shim true true
vmkusb true true
igbn true true
vmw_ahci true false
iscsi_trans true true
iscsi_trans_compat_shim true true
vmkapi_v2_2_0_0_iscsiInc_shim true true

重启,我们就会发现driver 已经回退到sata-achi了, SSD 的性能又回来了

参考文章: https://anthonyspiteri.net/homelab-supermicro-5020d-tnt4-storage-driver-performance-issues-and-fix/#prettyPhoto

https://kb.vmware.com/s/article/2044993

https://communities.vmware.com/thread/554004

 

VMware vSphere licenses

vSphere (esxi 6.7) 主要有4个版本: 

VMware vSphere Standard, VMware vSphere Enterprise Plus, VMware vSphere with operations management, VMware vSphere Platinum

Platinum 和 Enterprise Plus 基本都一样,除了AppDefense

除了面向大企业的版本,还有专门面向small business 的版本

VMware vSpher Essential Kit 和 VMware vSphere Essentials Plus Kit

VMware vSphere 和 vCenter 下载地址及序列号

如果你在vmware.com 网站的60天evaluation 账号过期了无法下载最新版的esxi 和 vcenter 的话,可以使用下面的下载地址去下载最新版的:

https://technet24.ir/vmware-vcenter-server-6-7-13940

下载完毕以后可以去vmware 官网的摘要去进行比较

https://my.vmware.com/cn/group/vmware/details?downloadGroup=VC67U2A&productId=742#errorCheckDiv

授权的序列号可以参见下方的链接:

http://www.i5i6.net/post/190.html

VCSA 的安装部署

vCenter 可以安装在windows 后者linux VM上,但是随着vSphere 6.5 出来以后,vCenter 开始只推荐在Linux VM 上安装,叫做vCenter Server Applicance,简称vCSA

vCSA 的ISO 很大。有3G 多,因此对于需要部署国外服务器的国内用户来说,可以在远程的windows 上进行安装vCSA,需要注意的是vCSA 的安装方式比较有意思,需要是Linux 的需要机,但是需要windows 的机器来远程连接到vSphere,通过api 来设置Linux VM

在windows 10 和 Windows Server 2016 上, 需要使用虚拟光驱来打开ISO 文件, 我们可以使用Virtual CloneDrive 来读取ISO文件

安装过程需要两步, Deploying the vCenter Server Appliance 和 Configuring the vCenter Server Appliance,全程 GUI简单易懂,所以就不过多介绍,可以参见这篇文章:

https://community.hetzner.com/tutorials/install-and-configure-vmware-vcenter

需要注意的一点是: 如果VCSA 部署在public IP上,没有什么问题,直接按照文章来做就可以了。但是如果VCSA 部署在private IP上,那么ESXi Host 的vmkernel NIC 需要和 VCSA 在同一网段,这样他们能够互相communication。

还有一点就在选择VCSA 所在的datastore 的时候,可以选择“Thin Provision”

Thin 和 Thick 是相对的, Thin 只会占用实际使用的disk 空间, Thick 则是选择使用多大,就占用多大。 例如一个300GB 的virtual disk上面有70GB 的数据,对于Thin mode 来说,就只占用70GB,对于thick mode来说,就会占用300GB

最后很重要的一点是,如果你使用的是hetzner,ovh,online.net 的话,当系统完成第一阶段的deployment 的话不会自动进入第二阶段,这是因为这几家所有的网卡的mac address 都必须先注册完成以后才能开始收发流量.

因此当第一阶段完成后,需要进入vSphere Host Client 更改这个VM 的 mac address 才能继续完成第二阶段的部署