openstack neutron网络介绍

Posted 2023-03-21

参考技术A

由于网络部分出现了许多得新名词。将从整体到分部细致讲解。

来源于网络得一张图

如图所示，连成了一条线。重要得如何实现互联，接下来以表象论证这张图。

最好将图放在一边，边看边对照图。
这里先介绍从虚拟机访问外网。端口A开始：

表现出来就是虚拟机有张网卡A。

查询此虚拟机得子网ip为 10.1.1.5，以及所在节点，记住这个节点。

通过子网ip查询到端口id为 b65c1085-a971-4333-82dc-57012e9be490
记住这个id

图中A与B互联，意味着A与B一定具有某种映射关系。

若没有此命令则安装： yum install -y bridge-utils
可以看到这个id对应的tap设备！

veth pair是什么？后面再介绍。

由图可知，端口B(qvbXXX)和端口C(tapXXX)在同一个linux网桥上。它们俩互通了。

端口D在ovs网桥上。C和D的互联是veth pair的特性。

由图可以看出，qvoXXX在ovs网桥上，qvb在linux网桥上。它们之间的互联是veth pair的特性，它们就像一根导线的两端。

ovs查询命令：

这里可以看到3种网桥: br-int、br-tun、br-ex。这里有个印象就好。
仔细的查看一下，可以看到qvoXXX在br-int网桥上。
至此D端口也找到了

E、F端口通过ovs网桥自身连接。
ovs-vsctl show 可以看到两个patch类型的端口，用于连接br-int和br-tun。类似于veth pair。

ovs-vsctl show 可以在br-tun网桥上看到vxlan类型的端口，并注明本地ip和remote ip，通过此类型端口，将不同的物理环境互联，对于上层好似就一个网桥。再者br-tun网桥还与br-int互联，这意味，对于再上一层的应用，似乎只有一个br-int。

和【E】【F】相同。

此时携带源ip为子网的流量到达M端口，而L端口得网段为外网网段，因此M网段的流量此时无法直接进入L端口。借助router（网络命名空间），使用iptables，将M端口流量的源ip转换为外网网段。此时流量可进入L端口从而访问外网。（M与N之间连通性非网络对实现，而是ovs tap设备实现。网络对的一个明显特征为 ip a 可以看到@符号连接两个端口）

找到虚拟机所在租户的路由id
本机为 894699dc-bc60-4b5e-b471-e95afa20f1d7

根据路由id找到网络命名空间
在所有节点上执行如下命令，找到对应id的qrouter
ip netns
本环境为：qrouter-894699dc-bc60-4b5e-b471-e95afa20f1d7

在此网络命名空间的节点上执行（如下命令意义为进入网络命名空间）：

此时已进入网络命名空间。

查看ip

可以看到qg和qr开头的网卡名称。qg为弹性ip地址组，qr为子网网关。此时在虚拟机所在节点上查询ovs网桥，可以在br-int看到与此同名的qg和qr端口。
由于是源地址转换，因此先路由再转换源ip(iptables规则)。
查看路由规则：
route -n

第一条可以看到外网的网关，通过qg网卡发送，规则正好匹配。
选好路由规则之后，进行更改源ip。

可以看到 neutron-l3-agent-float-snat(配置了弹性ip才会出现)、neutron-l3-agent-snat。因为neutron-l3-agent-float-snat优先级高于neutron-l3-agent-snat，如果没有配置弹性ip，则会将源ip改为该路由的外网ip；如果配置了弹性ip则会将源ip改为弹性ip。

总的来说，流量从qr出去绕了一圈（网络命名空间）改变了源ip又从qg进入，然后通过ovs patch进入br-ex。

br-ex如何与外网连接的呢？进入网络节点查看ovs网桥：

可以看到 br-ex与em3网卡互联。因此流量直接走em3出去。还记得你这张网卡是干嘛的吗？是那张不配置ip的物理网卡！

通过iptables的prerouting可以看出，在进入之前修改了目的弹性ip为子网ip，后经路由转发。另，网络命名空间可以通过arp发现子网ip与mac地址的对应关系。

lbaas，负载均衡
dhcp，dhcp服务。

通过前面说的br-tun 实现。如果没有单独划分网络，则使用管理网网段。若单独配置了tunnel网络，则br-tun里的网络使用tunnel网络。
br-tun 里定义了vxlan，并且指定了 local_ip、remote_ip。根据这两个ip以及路由信息，可以确定 br-tun 通过哪张网卡与外部通信。也是因此可以为tunnel配置专用网卡。

都是通过iptables实现。
防火墙：qrouter网络命名空间中得iptables实现。
安全组：虚拟机所在得宿主机得iptables实现。

可以看到防火墙规则。

可以看到对应端口id得安全组规则。

已经知道了qrouter 利用nat表实现弹性ip与子网ip之间的映射，但是如何从外部访问到qg网卡的？
这里做了一个简单的模拟操作:
https://www.jianshu.com/p/44e73910c241

dnsmasq 实现。
kolla-ansible 的dnsmasq日志相对路径参考：neutron/dnsmasq.log(可通过dnsmasq.conf 找到日志路径)
日志中可以看到dhcp的详细过程。过程参考如下：

文档参考：
https://docs.openstack.org/neutron/stein/admin/intro-basic-networking.html#dhcp

dhcp也通过网络命名空间实现，名称由网络id决定。dhcp可以拥有多个，通过neutron.conf 中 dhcp_agents_per_network 决定。

另：centos7虚拟机中的 /var/log/messages 也记录了dhcp相关操作。

network qos 可以理解为网络流量限制，官方名称：网络质量即服务
本环境通过openvswitch实现的qos。

如上图为设置的 带宽限制规则。

根据端口号查看流表，命令参考：

上图标记的104就为dscp mark 乘 4 的结果，乘4是一种规范。

https://docs.openstack.org/neutron/queens/admin/deploy-ovs.html

什么是OpenStack？

请教下广大的百度朋友们

‍

本文详细介绍了Openstack的网络原理和实现，主要内容包括：Neutron的网络架构及网络模型还有neutron虚拟化的实现和对二三层网桥的理解。

一、Neutron概述

Neutron是一个用Python写的分布式软件项目，用来实现OpenStack中的虚拟网络服务，实现软件定义网络。Neutron北向有自己的REST API，中间有自己的业务逻辑层，有自己的DB和进程之间通讯的消息机制。同时Neutron常见的进程包括Neutron-server和Neutron-agent，分布式部署在不同的操作系统。

OpenStack发展至今，已经经历了20个版本。虽然版本一直在更替，发展的项目也越来越多，但是Neutron作为OpenStack三大核心之一，它的地位是不会动摇的。只不过当初的Neutron也只是Nova项目的一个模块而已，到F版本正式从中剥离，成为一个正式的项目。

从Nova-Network起步，经过Quantum，多年的积累Neutron在网络各个方面都取得了长足的发展。其主要的功能为：

（1）支持多租户隔离

（2）支持多种网络类型同时使用

（3）支持隧道技术（VXLAN、GRE）

（4）支持路由转发、SNAT、DNAT技术

（5）支持Floating IP和安全组

多平面租户私有网络

图中同时有VXLAN和VLAN两种网络，两种网络之间互相隔离。租户A和B各自独占一个网络，并且通过自己的路由器连接到了外部网络。路由器为租户的每个虚拟机提供了Float IP，完成vm和外网之间的互相访问。

二、Neutron架构及网络模型

1、Neutron架构

Neutron-sever可以理解为类似于nova-api那样的一个专门用来接收API调用的组件，负责将不同的api发送到不同Neutron plugin。

Neutron-plugin可以理解为不同网络功能实现的入口，接收server发来的API，向database完成一些注册信息。然后将具体要执行的业务操作和参数通知给对应的agent来执行。

Agent就是plugin在设备上的代理，接受相应的plugin通知的业务操作和参数，并转换为具体的命令行操作。

总得来说，server负责交互接收请求，plugin操作数据库，agent负责具体的网络创建。

2、Neutron架构之Neutron-Server

（1）Neutron-server的本质是一个Python Web Server Gateway Interface（WSGI），是一个Web框架。

（2）Neutron-server接收两种请求：

REST API请求：接收REST API请求，并将REST API分发到对应的Plugin（L3RouterPlugin）。

RPC请求：接收Plugin agent请求，分发到对应的Plugin（NeutronL3agent）。

3、Neutron架构之Neutron-Plugin

Neutron-plugin分为Core-plugin和Service-plugin。

Core-plugin：ML2负责管理二层网络，ML2主要包括Network、Subnet、Port三类核心资源，对三类资源进行操作的REST API是原生支持的。

Service-plugin：实现L3-L7网络，包括Router、Firewall、VPN。

4、Neutron架构之Neutron-Agent

（1）Neutron-agent配置的业务对象是部署在每一个网络节点或者计算节点的网元。

（2）网元区分为PNF和VNF：

PNF：物理网络功能，指传统的路由器、交换机等硬件设备

VNF：虚拟网络功能，通过软件实现的网络功能（二层交换、三层路由等）

（3）Neutron-agent三层架构如下图：

Neutron-agent架构分为三层，北向为Neutron-server提供RPC接口，供Neutron server调用，南向通过CLI协议栈对Neutron VNF进行配置。在中间会进行两种模型的转换，从RPC模型转换为CLI模型。

5、Neutron架构之通信原理

（1）Neutron是OpenStack的核心组件，官网给出Neutron的定义是NaaS。

（2）Naas有两层含义：

对外接口：Neutron为Network等网络资源提供了RESTful API、CLI、GUI等模型。

内部实现：利用Linux原生或者开源的虚拟网络功能，加上硬件网络，构建网络。

Neutron接收到API请求后，交由模块WSGI进行初步的处理，然后这个模块通过Python API调用neutron的Plugin。Plugin做了相应的处理后，通过RPC调用Neutron的Agent组件，agent再通过某种协议对虚拟网络功能进行配置。其中承载RPC通信的是AMQP server，在部署中常用的开源软件就是RabbitMQ

6、Neutron架构之控制节点网络模型

控制节点没有实现具体的网络功能，它对各种虚拟设备做管理配合的工作。

（1）Neutron：Neutron-server核心组件。

（2）API/CLI：Neutron进程通过API/CLI接口接收请求。

（3）OVS Agent：Neutron通过RPC协议与agent通信。

控制节点部署着各种服务和Neutron-server，Neutron-server通过api/cli接口接收请求信息，通过RPC和Agent进行交互。Agent再调用ovs/linuxbridge等网络设备创建网络。

7、Neutron架构之计算节点网络模型

（1）qbr：Linux Bridge网桥

（2）br-int：OVS网桥

（3）br-tun：OVS隧道网桥

（4）VXLAN封装：网络类型的转变

8、Neutron架构之网络节点网络模型

网络节点部署了Router、DHCP Server服务，网桥连接物理网卡。

（1）Router：路由转发

（2）DHCP： 提供DNS、DHCP等服务。

（3）br-ex： 连接物理网口，连接外网

三、Neutron虚拟化实现功能及设备介绍

1、Neutron虚拟化实现功能

Neutron提供的网络虚拟化能力包括：

（1）二层到七层网络的虚拟化：L2（virtual Switch）、L3（virtual Router 和 LB）、L47（virtual Firewall ）等

（2）网络连通性：二层网络和三层网络

（3）租户隔离性

（4）网络安全性

（5）网络拓展性

（6）REST API

（7）更高级的服务，包括 LBaaS，FWaaS，VPNaaS 等

2、Neutron虚拟化功能之二层网络

（1）按照用户权限创建网络：

Provider network：管理员创建，映射租户网络到物理网络

Tenant network：租户创建的普通网络

External network：物理网络

（2）按照网络类型：

Flat network：所有租户网络在一个网络中

Local network：只允许在服务器内通信，不通外网

VLAN network：基于物理VLAN实现的虚拟网络

VXLAN network：基于VXLAN实现的虚拟网络

3、Neutron虚拟化实现功能之租户隔离

Neutron是一个支持多租户的系统，所以租户隔离是Neutron必须要支持的特性。

（1）租户隔离三种含义：管理面隔离、数据面的隔离、故障面的隔离。

（2）不同层次租户网络的隔离性

租户与租户之间三层隔离

同一租户不同网络之间二层隔离

同一租户同一网络不同子网二层隔离

（3）计算节点的 br-int 上，Neutron 为每个虚机连接 OVS 的 access port 分配了内部的 VLAN Tag。这种 Tag 限制了网络流量只能在 Tenant Network 之内。

（4）计算节点的 br-tun 上，Neutron 将内部的 VLAN Tag 转化为 VXLAN Tunnel ID，然后转发到网络节点。

（5）网络节点的 br-tun 上，Neutron 将 VXLAN Tunnel ID 转发了一一对应的 内部 VLAN Tag，使得 网络流被不同的服务处理。

（6）网络节点的 br-int 上连接的 DHCP 和 L3 agent 使用 Linux Network Namespace 进行隔离。

4、Neutron虚拟化实现功能之租户网络安全

除了租户隔离以外 Neutron还提供数据网络与外部网络的隔离性。

（1）默认情况下，所有虚拟机通过外网的流量全部走网络节点的L3 agent。在这里，内部的固定IP被转化为外部的浮动IP地址

（1）Neutron还利用Linux iptables特性，实现其Security Group特性，从而保证访问虚机的安全性

（3）Neutron利用网络控制节点上的Network Namespace中的iptables，实现了进出租户网络的网络防火墙，从而保证了进出租户网络的安全性。

5、Neutron虚拟化设备

（1）端口：Port代表虚拟网络交换机上的一个虚拟交换机端口

虚拟机的网卡连接到Port上就会拥有MAC地址和IP地址

（2）虚拟交换机：Neutron默认采用开源的Openvswitch，

同时还支持Linux Bridge

（3）虚拟路由器VR：

路由功能一个VR只属于一个租户，租户可以有多个VR一个VR可以有若干个子网VR之间采用Namespace隔离

四、Neutron网桥及二三层网络理解

1、Neutron-Local-Bridge

仅用于测试；网桥没有与物理网卡相连VM不通外网。

图中创建了两个local network，分别有其对应的qbr网桥。Vm123的虚拟网卡通过tap连接到qbr网桥上。其中2和3属于同一个network可以通信，1属于另一个网络不能和23进行通信。并且qbr网桥不连物理网卡，所以说local网络虚拟机只能同网络通信，不能连通外网。

2、Neutron-Flat-Bridge

Linux Bridge直接与物联网卡相连每个Flat独占一个物理网卡配置文件添加响应mapping

Flat网络是在local网络的基础上实现不同宿主机之间的二层互联，但是每个flat network都会占用一个宿主机的物理接口。其中qbr1对应的flatnetwork 连接 eth1 qbr2，两个网络的虚机在物理二层可以互联。其它跟local network类似。

3、Neutron-VLAN-Bridge

在基于linux bridge的vlan网络中，eht1物理网卡上创建了两个vlan接口，1.1连接到qbr1网桥，1.2连接到了qbr2网桥。在这种情况下vm通过eth1.1或者eth1.2发送到eth1的包会被打上各自的vlan id。此时vm2和vm3属于同一个network所以是互通的，vm与vm2和vm3不通。

4、Neutron-VXLAN-Bridge

这个是以Linux bridge作agent的Vxlan网络：

Vxlan网络比Vxlan网络多了个VXLAN隧道，在Openstack中创建好内部网络和实例后，agent就会在计算节点和网络节点创建一对vxlan vtep.组成隧道的两个端点。

Vxlan连接在eth0网口。在网络节点多了两个组件dhcp 和router，他们分别通过一对veth与qbr网桥连接在一起，多个dhcp和路由之间使用namesapce隔离，当vm产生ping包时，发往linux 网桥qbr1，通过网桥在vxlan12上封装数据包，数据通过eth0网卡出计算节点到网络节点的eth0，在vxlan12解包。到达路由器之后经过nat地址转换，从eth1出去访问外网，由租户网络到运营商网络再到外部网络。

5、Neutron-VLAN-OVS

与Linux bridge不同，openvswitch 不是通过eth1.1 eth1.2这样的vlan接口来隔离不同的vlan，而是通过openvswitch的流表规则来指定如何对进出br-int的数据进行转发，实现不同vlan的隔离。

图中计算节点的所有虚拟机都连接在int网桥上，虚拟机分为两个网络。Int网桥会对到来的数据包根据network的不同打上vlan id号，然后转发到eth网桥,eth网桥直连物理网络。这时候流量就从计算节点到了网络节点。

网络节点的ehx int网桥的功能相似，多了一个ex网桥，这个网桥是管理提前创建好的，和物理网卡相连，ex网桥和int网桥之间通过一对patch-port相连，虚拟机的流量到达int网桥后经过路由到ex网桥。

6、Neutron-VXLAN-OVS

Vxlan的模型和vlan的模型十分相似，从表面上来看，他俩相比只有一个不同,vlan对应的是ethx网桥，而vxlan对应的是tun网桥。

在这里ethx和tun都是ovs网桥，所以说两者的差别不是实现组件的差别而是组件所执行功能的差别，ethx执行的是普通二层交换机的功能，tun执行的是vxlan中的vtep的功能，图中俩tun对应的接口ip就是vxlan的隧道终结点ip。所以说虚机的数据包在到达tun网桥之前是打的是vlan tag，而到达tun之后会发生网络类型的转换，从vlan封装为vxlan然后到达网络节点。而之前的vlan类型的网络，虚机数据包的类型一直都是vlan。

7、物理的二层与虚拟的二层（VLAN模式)

（1）物理的二层指的是：物理网络是二层网络，基于以太网协议的广播方式进行通信。

（2）虚拟的二层指的是：Neutron实现的虚拟网络也是二层网络（openstack的vm机所用的网络必须是大二层），也是基于以太网协议的广播方式进行通信，但毫无疑问的是该虚拟网络是依赖于物理的二层网络。

（3）物理二层+虚拟二层的典型代表：VLAN网络模式。

8、物理的三层与虚拟的二层（GRE模式与VXLAN模式）

（1）物理三层指的是：物理网络是三层网络，基于IP路由的方式进行通信。

（2）虚拟的二层指的是：Neutron实现的虚拟网络仍然是二层网络（openstack的vm机所用的网络必须是大二层），仍然是基于以太网的广播方式进行通信，但毫无疑问的是该虚拟机网络是依赖于物理的三层网络，这点有点类似于VPN的概念，根本原理就是将私网的包封装起来，最终打上隧道的ip地址传输。

（3）物理三层+虚拟二层的典型代表：GRE模式与VXLAN模式。

参考技术A OpenStack 是一个开源云平台，主要由私有云供应商和提供公共云服务的商业公司使用，这些公共云服务将 OpenStack 作为其基础架构的一部分进行部署。埃科锐的私有云搭建允许企业和应用程序所有者将基础设施作为服务使用，而无需考虑安装服务器、存储和网络的复杂性∞本回答被提问者采纳 参考技术B OpenStack 起源于Rackspace Hosting 和 NASA 的联合项目，它是一个流行的云平台，有超过 740 个组织与开源平台相关联。 它广泛用于提供私有云服务的数据中心。 此外，OpenStack 安装支持基础架构即服务 (IaaS) 模型，例如我们在 Accrets.com 上的 OpenStack IaaS 解决方案提供了一种新的模型∞ 参考技术C openstack.org 网站指出，OpenStack“控制着整个数据中心的大型计算、存储和网络资源池； 所有这些都通过具有通用身份验证机制的 API 进行管理和配置。” OpenStack 还为系统管理员提供了基于 Web 的仪表板、命令行工具和 RESTful API 来管理这些资源。它允许用户通过 Web 界面配置资源。埃科锐国际通过搭建OpenStack云平台对计算、网络、存储和控制服务等进行管理进而加速和优化企业的云之旅∞