Nexus1000v部署

Posted 2020-08-30

部署升级管理器

   

http://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus1000/sw/5_2_1_Sv_3_2_8/install_upgrade/guide/b_Cisco_N1KV_VMware_Install_and_Upgrade_Guide_521SV328.html

   

新的Nexus1000v已经不再使用老旧的JAR程序进行安装和部署，它通过和vCenter结合的面板选项，进行Nexus VEM和VSM的安装部署。

   

安装目标文件包为Nexus1000v-vsum.2.1-pkg.zip，其中包括VSUM部署文件Nexus1000v-vsum.2.1.ova。部署的过程中，VSUM安装文件要求提供vCenter的管理凭据。安装完成之后，会生成如下图标：

   

基本的概念

VSM Virtual Supervisor Module，控制平面。最多可以有两个VSM构成冗余。

VEM Virtual Extension Module， 转发平面。一组VSM最多可以控制64个VEM。

在L2部署环境下，两条线应有各自不同的VLAN，以确保不同流量不会互相干涉。在L3部署当中，两条线路不必刻意划分，但是仍旧存在。只要L3可达，就可以完成注册和管理。

+------------------+ | | | VSM | | | +---^----------^---+ | | Control VLAN | | Packet VLAN Configuration | | IGMP Internal Management | CDP Heartbeats | | Monitoring | | | | +---v----------v---+ | | | VEM | | | +------------------+

   

Domain ID

由于一堆VSM最多可以控制64个VEM，所以超出64个的VEM必须通过其他VSM进行管理。通过Domain ID来区分管理区域。

   

部署模型

VSM，VEM和vCenter之间是互通的关系。

   

L2部署下，control vlan和packet vlan都有各自不同的VLAN，mgmt用于管理。

   

L3部署下，所有VEM通过所在ESXi的VMK口与VSM的Management口进行通信。只要保证路由可达，就可以完成注册和信息交互。MGMT用于和vC通信，也用于管理登录NXOS命令行，也用于VSM和VEM通讯。

   

   

端口

   

在Nexus1000v当中，端口port-profile与vSwitch port-group的概念相同，都是具有一系列特征的有机组合，通过将接口关联到port-profile当中，使得接口具有所需要的功能。

端口组有两种类型，ethernet指向物理口，一般作为uplink用，vethernet指向虚拟口，是vm用的。

switch1(config)# port-profile type ? ethernet Ethernet type vethernet Vethernet type

port-profile type ethernet n1kv-eth-14 mtu 1500 switchport mode trunk switchport trunk allowed vlan 1 switchport trunk native vlan 1 channel-group auto mode on mac-pinning no shutdown system vlan 1 state enabled vmware port-group port-profile type vethernet newpg switchport mode access switchport access vlan 1 no shutdown system vlan 1 state enabled vmware port-group

   

排错

debug port-profile trace debug port-profile error debug port-profile all

show port-profile name show port-profile expand-interface show port-profile usage >>> 查看绑定了哪些接口

   

查看接口对应关系

在VEM和vCenter，由于使用的接口识别顺序不同，无法从一个简单的描述上获知一个VM或者一个ESXi接口对应到VEM的哪个口。通过下面命令进行查询

switch1(config-if)# module vem 3 execute vemcmd show port LTL VSM Port Admin Link State Cause PC-LTL SGID ORG svcpath Type Vem Port 18 Eth3/1 UP UP F/B* - 1040 0 0 0 vmnic0 50 Veth1 UP UP FWD - 0 0 0 0 L3CONTROL vmk0 51 Veth2 UP UP FWD - 0 0 0 0 123123.eth0 1040 Po1 UP UP F/B* - 0 0 0

   

其他的端口feature

关于FHRP的支持，有时候VM迁移会导致外面物理交换机无法及时更新MAC表而导致大约300s的数据丢失。这种情况下，应关闭VEM/vSwitch的防环检测，允许VEM从入口回送数据包。仅可用于vethernet接口。

switch1(config-if)# int veth1 switch1(config-if)# disable-loop-detection

关于MS MLB支持

MS的MLB是二层不友好的负载均衡协议，通过L2泛洪进行任务分配。通过下面命令阻止特定vethernet接口学习MAC，来支持NLB。

switch1(config-if)# int veth1 switch1(config-if)# no mac auto-static-learn

   

系统VLAN

在Nexus1000v的拓扑当中，VEM必须有VSM的支持才能转发数据。但是当VEM或者VSM重启/离线的时候，需要保证那些必要的VLAN来让VEM/VSM，或者iSCSI boot的PXE系统能够正常工作。System VLAN就是在VSM/VEM尚未建立联系的时候，仍然可以工作的VLAN。最多支持16个System VLAN。

必须的System VLAN

• Control
• Packet

推荐的System VLAN

• IP Storage
• Service Console
• VMK
• Management Network

必须在过路所有port-profile上配置system VLAN。

   

   

port-profile type vethernet ESXi-L3control switchport mode access switchport access vlan 10 no shutdown capability l3control system vlan 1 state enabled vmware port-group port-profile type ethernet n1kv-eth-14 mtu 1500 switchport mode trunk switchport trunk allowed vlan 1,10 switchport trunk native vlan 1 channel-group auto mode on mac-pinning no shutdown system vlan 10 state enabled vmware port-group

   

VPC HM

相比较于普通的VPC，VPC HM是Nexus对于虚拟环境的特殊适配模式。VPC HM有三种模式，分别对应三种部署逻辑。如果对面只有一个SW，并且支持捆绑，只需要用普通的捆绑即可。但是如果对面是下面的拓扑，或者设备不支持VSS/VPC，或者不支持CDP，就会有很多问题。

   

   

CDP自动创建。依赖VEM对对面设备的CDP配置来自动生成channel-group

port-profile type ethernet n1kv-eth-14 mtu 1500 switchport mode trunk switchport trunk allowed vlan 1 switchport trunk native vlan 1 channel-group auto mode on sub-group cdp no shutdown system vlan 1 state enabled vmware port-group

手动创建。所有加入的物理接口仍然处于一个大的port-group下，但是通过小的subgroup进行区分，来确保

port-profile type ethernet n1kv-eth-14 mtu 1500 switchport mode trunk switchport trunk allowed vlan 1 switchport trunk native vlan 1 channel-group auto mode on sub-group manual no shutdown system vlan 1 state enabled vmware port-group

switch1(config-port-prof)# int e3/1 switch1(config-if)# sub-group-id ? <0-31> Specify a subgroup number

mac-pinning。每一条线单独形成一个port-channel，既是每个port-channel只有一个口。

port-profile type ethernet n1kv-eth-14 mtu 1500 switchport mode trunk switchport trunk allowed vlan 1 switchport trunk native vlan 1 channel-group auto mode on mac-pinning no shutdown system vlan 1 state enabled vmware port-group

switch1(config-port-prof)# show port-channel summary Flags: D - Down P - Up in port-channel (members) I - Individual H - Hot-standby (LACP only) s - Suspended r - Module-removed S - Switched R - Routed U - Up (port-channel) M - Not in use. Min-links not met -------------------------------------------------------------------------------- Group Port- Type Protocol Member Ports Channel -------------------------------------------------------------------------------- 1 Po1(SU) Eth NONE Eth3/1(P)     NOTE : * Denotes port-channels on modules that are currently offline on the VSM