openstack(liberty):部署实验平台(一,基础网络环境搭建)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了openstack(liberty):部署实验平台(一,基础网络环境搭建)相关的知识,希望对你有一定的参考价值。

openstack项目的研究,到今天,算是要进入真实环境了,要部署实验平台了。不再用devstack了。也就是说,要独立controller,compute,storage和network了。要做这个的第一步,就是要将各个服务器的软件环境(操作系统是否满足liberty的要求,centos最好是7以上),以及服务器之间的网络连接通路打通,方便后续的软件安装需要。

 

下面看看我的节点拓扑图,有5台机器,其中参与这个openstack的节点有4个,计划中的controller,network,storage(cinder/glance/swift),compute。另外一个节点机器用来作为跳转机器用。因为没有那么多公网IP,只有一个服务器有公网IP,所以,openstack的节点机器只能是内网IP了,我选择的是192.168.1.xxx,如下图所示:

技术分享

 

从上图可以看出,中间机器是通过NAT实现的跳转。SNAT是为了方便各个openstack机器方便访问公网,DNAT是为了从公网访问controller节点的dashboard的,因为这个要等到后续openstack的软件安装好后,再测试。这里就不提供这个的配置。虽然跳转机器上显示有两个网络连接,一个是public的,一个是gateway的内网连接到cisco的交换机上。其实,上图中的每台机器都有4个NIC,这几个机器都是poweredge r610服务器,由于老旧,都差不多成为了一堆费铁了。安装centos7折腾了我2天,机器启动慢的要死,启动界面提示信息,各种不正常。主要命的是只有一个机器的光驱是好的,BT公司不允许用U盘,最终折腾这些错误和残疾的设备问题,浪费了我太多时间,没有办法,在十几个硬盘中找能识别出来的,往那个光驱能用的机器上倒腾安装操作系统。。。我也是醉了,几个服务器,一个显示器,一个键盘,一个鼠标,一个能用的光驱。。。。

 

不扯淡了,现在,重点是要说说,各个节点上的配置信息。

首先说说跳转机器,主要配置信息就是SNAT,以及设置一个NIC作为gateway用。因为每个机器上都有em1-em4这四个NIC,跳转机器,我用em1作外网接口,em2用作gateway接口,配置192.168.1.1这个IP地址。

看看em1的ifcfg-em1配置信息(vim /etc/sysconfig/network-scripts/ifcfg-em1):

  1 HWADDR=18:03:73:f0:c3:8f
  2 TYPE=Ethernet
  3 BOOTPROTO=none
  4 IPADDR0=a.b.c.d
  5 PREFIX0=24
  6 DEFROUTE=yes
  7 IPV4_FAILURE_FATAL=no
  8 IPV6INIT=yes
  9 IPV6_AUTOCONF=yes
 10 IPV6_DEFROUTE=yes
 11 IPV6_PEERDNS=yes
 12 IPV6_PEERROUTES=yes
 13 IPV6_FAILURE_FATAL=no
 14 NAME=em1
 15 UUID=add4414c-d48b-4470-a578-98c7a6a0f508
 16 ONBOOT=yes
 17 NETMASK=255.255.255.0
 18 USERCTL=no
 19 PREFIX=24
 20 GATEWAY0=a.b.c.1

再看看em2的ifcfg-em2的内容:

 1   1 TYPE=Ethernet
 2   2 BOOTPROTO=none
 3   3 IPADDR0=192.168.1.1
 4   4 PREFIX0=24
 5   5 NETMASK=255.255.255.0
 6   6 GATEWAY0=192.168.1.1
 7   7 DEFROUTE=yes
 8   8 IPV4_FAILURE_FATAL=no
 9   9 IPV6INIT=no
10  10 IPV6_AUTOCONF=no
11  11 IPV6_DEFROUTE=no
12  12 IPV6_FAILURE_FATAL=no
13  13 NAME=em2
14  14 UUID=444422af-5b4e-4e34-a1bc-3d009ef0237f
15  15 ONBOOT=yes
16  16 USERCTL=no
17  17 HWADDR=18:03:73:F0:C3:91
18  18 IPV6_PEERDNS=no
19  19 IPV6_PEERROUTES=no

 

SNAT配置比较简单,第一步,就在iptables里面的nat表配置一下:

1 [[email protected] ~]# iptables -t nat -A POSTROUTING -s 192.168.1.100 -j SNAT --to-source a.b.c.d
1 [[email protected] ~]# iptables -t nat -I POSTROUTING -s 192.168.1.110 -j SNAT --to-source a.b.c.d
1 [[email protected] ~]# iptables -t nat -I POSTROUTING -s 192.168.1.120 -j SNAT --to-source a.b.c.d
1 [[email protected] ~]# iptables -t nat -I POSTROUTING -s 192.168.1.130 -j SNAT --to-source a.b.c.d

配置完成后,查看下iptables的snat信息如下:

 1 [[email protected] ~]# iptables -t nat -L
 2 Chain PREROUTING (policy ACCEPT)
 3 target     prot opt source               destination         
 4 
 5 Chain INPUT (policy ACCEPT)
 6 target     prot opt source               destination         
 7 
 8 Chain OUTPUT (policy ACCEPT)
 9 target     prot opt source               destination         
10 
11 Chain POSTROUTING (policy ACCEPT)
12 target     prot opt source               destination         
13 SNAT       all  --  192.168.1.130        anywhere             to:a.b.c.d
14 SNAT       all  --  192.168.1.120        anywhere             to:a.b.c.d
15 SNAT       all  --  192.168.1.110        anywhere             to:a.b.c.d
16 SNAT       all  --  192.168.1.100        anywhere             to:a.b.c.d

注意,只有第一个是-A添加chain为POSTROUTING,后面三个都是-I插入操作。第二步就是要打开IP forwarding,修改/etc/sysctl.conf文件,找到net.ipv4.ip_forward,修改成下面的样子:

1 net.ipv4.ip_forward=1

 

这里,说下,起初我的SNAT配置如下,只有一条语句如下:

1 [[email protected] ~]# iptables -t nat -A POSTROUTING -s 192.168.1.0/24 -j SNAT --to-source a.b.c.d

最后,发现从跳转机器上无法ping通其他的机器(其他openstack机器,比如controller等),但是从其他的几个节点可以ping通跳转机。起初以为是网关连接交换机的网线坏掉,后来换线后发现还是如此,仔细分析了下SNAT的配置,应该是这个配置的包转发逻辑出了点问题,也就是说,在跳转机上执行ping 192.168.1.100时,所有的从192.168.1.1出去的icmp包最后又发回到了这个跳转机器。于是,我就修改为四条iptables的规则操作,如上面的一个A三个I的操作,这样,就将192.168.1.1这个source的IP避开了,最终测试,双向都可以ping通了。

 

注意,上面的操作,只是临时的哟,要永久生效,必须写到/etc/sysconfig/iptables文件里面,或者,基于上面的命令执行完毕,再执行iptables-save 命令,我这里指定只save nat表:

 1 [[email protected] ~]# iptables-save -t nat
 2 # Generated by iptables-save v1.4.19.1 on Mon Feb  1 10:37:37 2016
 3 *nat
 4 :PREROUTING ACCEPT [1260048:116139336]
 5 :INPUT ACCEPT [146564:41543662]
 6 :OUTPUT ACCEPT [25035:1519835]
 7 :POSTROUTING ACCEPT [25394:1545241]
 8 -A POSTROUTING -s 192.168.1.130/32 -j SNAT --to-source a.b.c.d
 9 -A POSTROUTING -s 192.168.1.120/32 -j SNAT --to-source a.b.c.d
10 -A POSTROUTING -s 192.168.1.110/32 -j SNAT --to-source a.b.c.d
11 -A POSTROUTING -s 192.168.1.100/32 -j SNAT --to-source a.b.c.d
12 COMMIT
13 # Completed on Mon Feb  1 10:37:37 2016

 但是,考虑到,这样子iptables-save保存的文件没有办法开机后自动载入到iptables中,需要做一些启动时的自动加载的脚本操作,不方便,最终选择直接在/etc/sysconfig/iptables文件下面修改:

 1 1 # Generated by iptables-save v1.4.19.1 on Tue Mar 10 14:56:49 2015
 2   2 *nat
 3   3 :PREROUTING ACCEPT [259:28155]
 4   4 :INPUT ACCEPT [16:4183]
 5   5 :OUTPUT ACCEPT [1:60]
 6   6 :POSTROUTING ACCEPT [2:111]
 7   7 -A POSTROUTING -s 192.168.1.130/32 -j SNAT --to-source a.b.c.d
 8   8 -A POSTROUTING -s 192.168.1.120/32 -j SNAT --to-source a.b.c.d
 9   9 -A POSTROUTING -s 192.168.1.110/32 -j SNAT --to-source a.b.c.d
10  10 -A POSTROUTING -s 192.168.1.100/32 -j SNAT --to-source a.b.c.d
11  11 COMMIT
12  12 # Completed on Tue Mar 10 14:56:49 2015
13  13 # Generated by iptables-save v1.4.19.1 on Tue Mar 10 14:56:49 2015
14  14 *filter
15  15 :INPUT ACCEPT [19308:5028665]
16  16 :FORWARD ACCEPT [123:7700]
17  17 :OUTPUT ACCEPT [13913:3438191]
18  18 COMMIT

经过测试,发现,这样子是可以满足使用,但是,既然有这么一个机器作为跳转机,做网关,为何不将其做的更加通用一点呢,选择nat的MASQUERADE.最终的配置如下,也是写如/etc/sysconfig/iptables文件中:

  1 # Generated by iptables-save v1.4.19.1 on Tue Mar 10 14:56:49 2015
  2 *nat
  3 :PREROUTING ACCEPT [259:28155]
  4 :INPUT ACCEPT [16:4183]
  5 :OUTPUT ACCEPT [1:60]
  6 :POSTROUTING ACCEPT [2:111]
  7 -A POSTROUTING -o em1 -j MASQUERADE
  8 COMMIT
  9 # Completed on Tue Mar 10 14:56:49 2015
 10 # Generated by iptables-save v1.4.19.1 on Tue Mar 10 14:56:49 2015
 11 *filter
 12 :INPUT ACCEPT [19308:5028665]
 13 :FORWARD ACCEPT [123:7700]
 14 :OUTPUT ACCEPT [13913:3438191]
 15 COMMIT
 16 # Completed on Tue Mar 10 14:56:49 2015

 

接下来,要配置openstack的其他几个节点机器了,每个机器的配置都差不多,下面,我就拿controller node0节点为例说明。

1. 改hostname,在/etc/sysconfig/network文件里面添加下面的一行配置

# Created by anaconda
HOSTNAME=node0

然后,修改/etc/hosts文件。

1 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
2 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
3 192.168.1.100   node0
4 192.168.1.110   node1
5 192.168.1.120   node2
6 192.168.1.130   node3

 

2. 修改dns配置/etc/resolve.conf.添加下面的两行内容:

1 search 219.141.136.10
2 nameserver 202.106.0.20

 

3. 添加静态的路由,在/etc/sysconfig/static-routes文件中添加下面的一行内容(若没有这个文件,可以自己创建一个)

1 any net default gw gateway 192.168.1.1

 

4. 下面看看em1的配置信息:

 1 TYPE=Ethernet
 2 BOOTPROTO=none
 3 DEFROUTE=no
 4 IPV4_FAILURE_FATAL=no
 5 IPV6INIT=no
 6 IPV6_AUTOCONF=no
 7 IPV6_DEFROUTE=no
 8 IPV6_FAILURE_FATAL=no
 9 NAME=em1
10 UUID=1f0572e7-b6a8-4342-83f3-749c00e1007e
11 ONBOOT=yes
12 HWADDR=18:03:73:F0:C3:1A
13 IPADDR0=192.168.1.100
14 PREFIX0=24
15 GATEWAY0=192.168.1.1
16 IPV6_PEERDNS=no
17 IPV6_PEERROUTES=no

到此,上面的控制节点上的所有的基础网络配置就算结束了,可以在这里ping一下www.baidu.com,是可以打开的:

[[email protected] opt]# ping www.baidu.com
PING www.a.shifen.com (61.135.169.125) 56(84) bytes of data.
64 bytes from 61.135.169.125: icmp_seq=1 ttl=51 time=9.09 ms
64 bytes from 61.135.169.125: icmp_seq=2 ttl=51 time=4.06 ms
64 bytes from 61.135.169.125: icmp_seq=3 ttl=51 time=13.0 ms
64 bytes from 61.135.169.125: icmp_seq=4 ttl=51 time=4.49 ms
64 bytes from 61.135.169.125: icmp_seq=5 ttl=51 time=4.75 ms
64 bytes from 61.135.169.125: icmp_seq=6 ttl=51 time=4.21 ms
^C
--- www.a.shifen.com ping statistics ---
6 packets transmitted, 6 received, 0% packet loss, time 5008ms
rtt min/avg/max/mdev = 4.065/6.609/13.034/3.356 ms

 

到此,我的网络基础连接已经完成,为继续前行做好了准备!

以上是关于openstack(liberty):部署实验平台(一,基础网络环境搭建)的主要内容,如果未能解决你的问题,请参考以下文章

Centos7.3 Openstack-liberty安装部署记录

OpenStack-liberty版Neutron服务部署

OpenStack-liberty版Nova计算节点部署服务部署

OpenStack-liberty版Glance服务部署

OpenStack-liberty版Nova服务部署

OpenStack-liberty版Ciner部署