Quadranet HDD VM benchmark

母鸡是Quadranet 的一台古董机,硬盘是使用了快5年的HDD, 虚拟化使用的是Xen, 管理工具是Xenserver

测试使用程序:

wget -qO- bench.sh | bash

下面是测试结果:

----------------------------------------------------------------------
CPU model : Intel(R) Xeon(R) CPU E3-1241 v3 @ 3.50GHz
Number of cores : 2
CPU frequency : 3500.404 MHz
Total size of Disk : 28.3 GB (2.1 GB Used)
Total amount of Mem : 1402 MB (166 MB Used)
Total amount of Swap : 1906 MB (0 MB Used)
System uptime : 94 days, 1 hour 16 min
Load average : 0.00, 0.01, 0.05
OS : CentOS 7.6.1810
Arch : x86_64 (64 Bit)
Kernel : 3.10.0-957.1.3.el7.x86_64
----------------------------------------------------------------------
I/O speed(1st run) : 34.8 MB/s
I/O speed(2nd run) : 37.0 MB/s
I/O speed(3rd run) : 36.9 MB/s
Average I/O speed : 36.2 MB/s

 

VMware vSphere 6.7 VM IO Benchmark

测试使用的程序:

wget -qO- bench.sh | bash

VM配置:

Debian 10

4 vCPU

4GB RAM

50GB SSD

online.net 的 独立服务器,服务器为3 X 500 GB SSD

在使用新的ahci driver (vmw_achi)的情况下:

CPU model : Intel(R) Xeon(R) CPU E5-1650 v3 @ 3.50GHz
Number of cores : 4
CPU frequency : 3495.951 MHz
Total size of Disk : 46.0 GB (0.9 GB Used)
Total amount of Mem : 3946 MB (133 MB Used)
Total amount of Swap : 4092 MB (0 MB Used)
System uptime : 0 days, 0 hour 55 min
Load average : 0.00, 0.00, 0.00
OS : Debian GNU/Linux 10
Arch : x86_64 (64 Bit)
Kernel : 4.19.0-5-amd64
----------------------------------------------------------------------
I/O speed(1st run) : 77.6 MB/s
I/O speed(2nd run) : 79.3 MB/s
I/O speed(3rd run) : 76.9 MB/s
Average I/O speed : 77.9 MB/s
-----------------------------------

在退回旧的ahci driver(sata-achi)的情况下:

----------------------------------------------------------------------
CPU model : Intel(R) Xeon(R) CPU E5-1650 v3 @ 3.50GHz
Number of cores : 4
CPU frequency : 3495.951 MHz
Total size of Disk : 46.0 GB (0.9 GB Used)
Total amount of Mem : 3946 MB (101 MB Used)
Total amount of Swap : 4092 MB (0 MB Used)
System uptime : 0 days, 0 hour 1 min
Load average : 0.02, 0.01, 0.00
OS : Debian GNU/Linux 10
Arch : x86_64 (64 Bit)
Kernel : 4.19.0-5-amd64
----------------------------------------------------------------------
I/O speed(1st run) : 407 MB/s
I/O speed(2nd run) : 408 MB/s
I/O speed(3rd run) : 407 MB/s
Average I/O speed : 407.3 MB/s

基本回到了满速,这个IO 甚是欣慰,虽然比使用纯ssd 要慢点,但还是可以接受的

ESXi 6.7 的这个IO 问题,从6.5 就一直存在,但是到了6.7 还是没有解决

在ESXi 的host上,使用如下命令可以看到:

[[email protected]:~] esxcli software vib list | grep ahci
sata-ahci 3.0-22vmw.650.0.0.4564106 VMW VMwareCertified 2016-11-16
vmw-ahci 1.0.0-32vmw.650.0.0.4564106 VMW VMwareCertified 2016-11-16

说明系统上存在两种driver,一个是sata-achi, 另外一个是vmw-achi. VMware 在vShpere 新的版本中,对于sata 都采用了全新的driver vmw-achi, 目前看来这个driver 还是有一定问题的,因此最好是回退到原来的driver中去

直接登录VMware 的 host,storage -> Adapters, 可以看到driver 用的是vmw_achi

我们需要将这个driver 回退到sata_achi中去:

[[email protected]:~] esxcli system module set --enabled=false --module="vmw_ahci"
[[email protected]:~] esxcli system module list | more
Name Is Loaded Is Enabled
----------------------------- --------- ----------
vmkernel true true
chardevs true true
user true true
....

....
vmkapi_v2_1_0_0_vmkernel_shim true true
vmkusb true true
igbn true true
vmw_ahci true false
iscsi_trans true true
iscsi_trans_compat_shim true true
vmkapi_v2_2_0_0_iscsiInc_shim true true

重启,我们就会发现driver 已经回退到sata-achi了, SSD 的性能又回来了

参考文章: https://anthonyspiteri.net/homelab-supermicro-5020d-tnt4-storage-driver-performance-issues-and-fix/#prettyPhoto

https://kb.vmware.com/s/article/2044993

https://communities.vmware.com/thread/554004

 

VMware vSphere licenses

vSphere (esxi 6.7) 主要有4个版本: 

VMware vSphere Standard, VMware vSphere Enterprise Plus, VMware vSphere with operations management, VMware vSphere Platinum

Platinum 和 Enterprise Plus 基本都一样,除了AppDefense

除了面向大企业的版本,还有专门面向small business 的版本

VMware vSpher Essential Kit 和 VMware vSphere Essentials Plus Kit

VMware vSphere 和 vCenter 下载地址及序列号

如果你在vmware.com 网站的60天evaluation 账号过期了无法下载最新版的esxi 和 vcenter 的话,可以使用下面的下载地址去下载最新版的:

https://technet24.ir/vmware-vcenter-server-6-7-13940

下载完毕以后可以去vmware 官网的摘要去进行比较

https://my.vmware.com/cn/group/vmware/details?downloadGroup=VC67U2A&productId=742#errorCheckDiv

授权的序列号可以参见下方的链接:

http://www.i5i6.net/post/190.html

VCSA 的安装部署

vCenter 可以安装在windows 后者linux VM上,但是随着vSphere 6.5 出来以后,vCenter 开始只推荐在Linux VM 上安装,叫做vCenter Server Applicance,简称vCSA

vCSA 的ISO 很大。有3G 多,因此对于需要部署国外服务器的国内用户来说,可以在远程的windows 上进行安装vCSA,需要注意的是vCSA 的安装方式比较有意思,需要是Linux 的需要机,但是需要windows 的机器来远程连接到vSphere,通过api 来设置Linux VM

在windows 10 和 Windows Server 2016 上, 需要使用虚拟光驱来打开ISO 文件, 我们可以使用Virtual CloneDrive 来读取ISO文件

安装过程需要两步, Deploying the vCenter Server Appliance 和 Configuring the vCenter Server Appliance,全程 GUI简单易懂,所以就不过多介绍,可以参见这篇文章:

https://community.hetzner.com/tutorials/install-and-configure-vmware-vcenter

需要注意的一点是: 如果VCSA 部署在public IP上,没有什么问题,直接按照文章来做就可以了。但是如果VCSA 部署在private IP上,那么ESXi Host 的vmkernel NIC 需要和 VCSA 在同一网段,这样他们能够互相communication。

还有一点就在选择VCSA 所在的datastore 的时候,可以选择“Thin Provision”

Thin 和 Thick 是相对的, Thin 只会占用实际使用的disk 空间, Thick 则是选择使用多大,就占用多大。 例如一个300GB 的virtual disk上面有70GB 的数据,对于Thin mode 来说,就只占用70GB,对于thick mode来说,就会占用300GB

最后很重要的一点是,如果你使用的是hetzner,ovh,online.net 的话,当系统完成第一阶段的deployment 的话不会自动进入第二阶段,这是因为这几家所有的网卡的mac address 都必须先注册完成以后才能开始收发流量.

因此当第一阶段完成后,需要进入vSphere Host Client 更改这个VM 的 mac address 才能继续完成第二阶段的部署

 

 

vSphere 和 vCenter 的 6.5, 6.7, 以及7.0的key

VMware vSphere ESXi 7.0 Enterprise Plus(据说是rc版合作伙伴测试密钥,正式版可用. 现在更先进了,出了VMware 的keygen,直接google就能找到)

JJ2WR-25L9P-H71A8-6J20P-C0K3F
HN2X0-0DH5M-M78Q1-780HH-CN214
JH09A-2YL84-M7EC8-FL0K2-3N2J2

VMware vCenter 7.0 Standard

104HH-D4343-07879-MV08K-2D2H2
410NA-DW28H-H74K1-ZK882-948L4
406DK-FWHEH-075K8-XAC06-0JH08

VMware vSan 7.0 Enterprise Plus

HN0D8-AAJ1Q-07D00-6U924-CX224
50008-221DH-M7E99-A9CKM-A1030
HN0NH-62051-H75E9-P38RM-0H870

VMware vSphere 7 Enterprise Plus with Add-on for Kubernetes

J1608-4GJEQ-071L8-9VA0H-2MUK6
M10DH-8YL47-474L1-DV3U0-8H054
MM4MR-2G005-H7039-JVCAP-2RAL8

以下是6.5, 6.7的key

vCenter: 0A0FF-403EN-RZ848-ZH3QH-2A73P

vSphere: JV425-4h100-vzhh8-q23np-3a9pp

虽然说是适用于vSphere 6.5, 但是6.7 仍然试用

vSphere 6.7: MZ48M-DNK56-ZZJD0-RTCE2-9321X
  1. 给vCenter 分配license:

       在vCenter de vSphere Client 上,点击Menu -> Administrator -> Licensing -> Licenses, 单机 “+” 添加一个新的license,然后再点击Assets,在host上面右击,点击”Assign License”就可以了

      2. 给vSphere 分配license:

       点击 Manage -> Licensing -> Assign License, 添加新的license

VMkernel in ESXi

从vmware 官方文档看来的定义:

The VMkernel is a high-performance operating system that runs directly on the ESXi host. The VMkernel manages most of the physical resources on the hardware, including memory, physical processors, storage, and networking controllers.

因此VMkernel 可以简单的认为是一个OS

VMWARE ESXI 6.7 基础内容

Xen 已经被越来越多的主流厂商抛弃了,因此我也开始全面拥抱esxi 和 kvm,本篇文章主要介绍esxi 使用方面的一些问题, 目前esi 的最新版是 esxi 6.7 u3(update 3)

关于esxi 6.7 的基本安装和配置,可以参见这篇文章,写的是非常的详细

https://www.experts-exchange.com/articles/33122/HOW-TO-Install-and-Configure-VMware-vSphere-Hypervisor-6-7-ESXi-6-7.html

连接到VMware vSphere Hypervisor 6.7:

其实自从esxi 6.5 开始,就可以使用任何浏览器使用Vmware Host Client来说管理, VMware Host Client 是基于HTML5的

当ESXi 6.7 完全启动以后,上面的画面就会出现,这个叫做Direct Console User Interface (DCUI)

在ESXi 6.5 以前,主要使用基于C#的VMware vSphere Client 来管理,但是从6.5开始, VMware 抛弃了vSphere Client,主要是用基于HTML5的 VMware Host Client 6.7,一个浏览器就可以满足我们的需求

你可以直接访问屏幕上的IP来直接访问Host Client,但是我们更建议使用FQDN来访问Host Client(一定要做好FQDN的A记录)

通过浏览器连接上Host Client 以后,屏幕上就会出现以下画面

我们注意到ESXi host 没有persistent storage, 如果我们要存储virtual machines(Guests or VMs), VM必须被存储在ESXi host 的datastore 上,类似于windows 的NTFS文件系统, VMware vSphere Hypervisor ESXi 的文件系统叫做VMFS(Virtual Machine File System), VMFS有三个版本,VMFS-3 对应vSphere 3.x 和4.x, VMFS-5 对应于vSphere 5.x 和6.0,VMFS-6 对应于vSphere 6.5和6.7

如果系统没有任何datastore,我们需要点击菜单上的Storage -> New datastore 来创建一个,VMware 的程序做的非常好,简单明了就不多说了. 需要注意的是,只有没有被分区的磁盘或者已经分过区的LVM 或者LUN 才可以被创建成VMFS.

一个tip, 最好创建比较小的disks 或者LUN,因为扩展他们很容易,但是shrink缩小disks 或者LUN 确比较难

上传VM系统的ISO到datastore:

如果本地网速够快,可以使用winscp 或者Veeam Free backup版本: https://www.veeam.com/virtual-machine-backup-solution-free.html

为了方便我们今后做管理,可以在datastore上新建一个文件夹,通过Host Client 这个很简单就可以完成,就不多说了,比如说在datastore1 下面建立一个文件夹 isos

同时单击一下datastore1 的名字,就可以看到他的属性,属性里面包含着这个datastore1 的位置,如下图所示:

可以看到datastore1 位于/vmfs/volumes/XXXXXXXX

检查文件md5,就需要Esxi 打开SSH access,登录上去用传统的shell commands 来检查

打开SSH access 的步骤:

1) 点击左边菜单中的Host

2)单击屏幕右上方的Actions,在下拉列表中, enable secure shell 和 enable console shell