实操高校数据中心vsphere6.0升级6.5，重新规划网络。

Posted 2020-09-21

现状如下:

硬件：2台HP C7000刀箱n个刀片，n台HP机架式服务器，n台物理机及其他设备。

存储：FC SAN存储

软件：vcenter是windows版6.0，vsphere也是6.0版本。

网络：三层结构，两个C类SUB地址，管理、业务、生产混在一起。

 

要做的事如下:

1、刀箱及服务器升级最新固件和驱动程序。

2、部署VCSA6.5，vsphere升级到6.5版本，部署vRealize Operations Manager Appliance 6.5，vRealize Log Insight 4.3。

3、重新规划网络，实现管理、业务、生产网络分离。

 

升级过程是需要管网络和管数据中心的人配合操作，我们单位网络、安全、数据中心都归我一个人管理，所有设备我都会配置，没有沟通成本。

Vmware有一个windows版vcenter到VCSA的升级程序，我重新规划网路了应该是用不上的，不如全部推倒重来，按照下面计划实施对外服务中断可以控制在一两个小时以内。

 

vCenter Server 有两种部署方式：

• 安装在 Windows 平台上，需要额外的 Windows 操作系统和外置数据库系统软件许可，部署起来有一定的手动步骤，比较麻烦。

• 直接部署预置的 vCenter Server Appliance (VCSA)，VCSA 是一个基于 Linux 的虚拟机，内置 PostgreSQL 数据库，完全不需要额外的软件许可，部署起来也更方便。

之前一直使用windows平台的vcenter，主要因为VCSA功能还不够完善。在vsphere6.5版本中整合了Update Manager，内置备份功能，自带HA支持，增强的 Appliance 管理能力。所以在6.5版本VCSA是最佳选择。

 

目前交换机配置：

Vlan10 1.1.1.1/24 2.2.2.1/24 sub

规划交换机配置：

Vlan10 1.1.1.1/24 生产网络

Vlan20 2.2.2.1/24 业务网络

Vlan30 3.3.3.1/24 vsphere网络

Vlan40 4.4.4.1/24 硬件管理网络

  5.5.5.1/24 vmotion网络

  6.6.6.1/24 FT网络

注意：vmotion和FT网络无需起路由配置vlan。

 

按顺序开整：

1、数据中心整理网线和光纤，区分出硬件管理网络接口，vsphere标准交换机网络接口，vsphere分布式交换机网络接口，其他非虚拟化服务器及硬件网络接口。

这个事情非常非常非常麻烦，尤其数据中心规模大设备多的时候是非常头痛的事情，我有些技巧，比如HP ILO的管理网络接口是百兆的，在交换机上看状态灯能区分出来，光纤10G和1G网络在交换机看状态灯也能区分，有一些网线距地短的可以拔插网线区分，难区分的可以在三层和二层交换机上查看arp和mac信息区分。

耐心细心的把所有网络区分开，记录下来，最好在交换机接口写description信息。至此数据中心现场工作整理完毕，可以回办公室冲杯咖啡慢慢操作了。

2、三层交换机把vlan30和40的地址以sub地址的形式加入到vlan10中。创建vlan20、30、40，并trunk到二层交换机上。二层交换机同样创建vlan20、30、40，并trunk到三层交换机上。

3、更改硬件管理地址，HP C7000 OA、VC、iLo地址，HP机架iLo地址，存储管理地址。

4、把4.4.4.1/24地址从vlan10删除，加入到vlan40，根据二层交换机description信息改变接口vlan ID。至此硬件管理网络区分完毕。

5、通过vmotion操作清理出几台空闲服务器，每种型号的服务器都要清理，清理出的服务器越多越好，因为下一步并行升级可以节省大量时间。

6、登陆HP ILO，加载HP SPP镜像，重新服务器升级服务器固件和软件，升级完毕加载vsphere6.5镜像重新安装vsphere。安装好后给vsphere分配新的地址。

7、安装VCSA6.5到一台新的vsphere6.5上，分配新的地址，登陆VCSA，把所有升级vsphsere6.5的服务器加入VCSA，配置标准交换机，分布式交换机，注意最好有两个冗余物理设配器，配置vmotion和FT网络，配置新地址。

注意：分布式交换机配置是重点，我业务和生产两个网络，我的HP C7000刀箱用的是10G上线链路，我可以创建两个端口组区分不同的vlan。也可以加两条1G的上线链路再创建一个分布式交换机。这个要根据实际使用情况想好了，HP到箱增加上行链路是需要服务器关机在HP VC里配置的。

至此工作已经进行了一半，软件升级完成，也配置了新的规划地址。

8、下面的操作要中断业务了，所以想好什么时间做，我一般都是半夜在家里做。

下面验证一下配置是否正确:

• vcenter6.0中关闭一台虚拟机，从清单中删除。

• vcsa6.5中浏览存储，找到虚拟机位置添加到清单中。

• 编辑虚拟机设置，在网络适配器选择新的网络。

• 三层交换机在vlan20中加入地址，修改二层交换机连接vsphere分布式交换机端口vlan ID。

• 进入虚拟机验证网络是否畅通。

此时vcenter6.0可以无法访问，如果虚拟机验证通过了把上面的网络配置再改回去，在vcenter6.0把所有虚拟机关机，从清单移除，再把网络配置改过来，在vcsa6.5中把所有虚拟机添加到清单里。至此所有虚拟机迁移完毕，vcenter6.0可以删除了。

9、三层交换机vlan30加入地址，修改二层交换机连接vsphere标准交换机接口的vlan ID。至此vsphere网络分离完毕。

10、修改物理机及其他硬件设备vlan ID。

11、继续升级剩余的服务器，并加入vcsa6.5。

12、通过vmotion操作把虚拟机均匀的分布到vsphere里。

第8步到12步顺利的话可能需要5到8个小时时间，至此业务已经完全恢复，可以睡上一觉，剩下的事情就不着急了。

13、三层交换机配置ACL：

• 不允许vlan30访问vlan10、20、40，不允许vlan10、20、40访问vlan30

• 不允许vlan40访问vlan10、20、30，不允许vlan10、20、30访问vlan40

防火墙配置只允许管理员IP访问vlan30、40

14、部署vRealize Operations Manager Appliance 6.5,vRealize LogInsight 4.3

15、配置vcenter备份，根据需求做vcenter HA，集群之类的。牛人的还可以尝试部署NSX。

 

以上步骤可以分三步干：

第一步：实施1-7条

第二步：实施8-12条

第三步：实施13-15条

本文出自 “高校网络和数据中心运维” 博客，请务必保留此出处http://hanson2017.blog.51cto.com/1336475/1932848