openstack实验环境部署
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了openstack实验环境部署相关的知识，希望对你有一定的参考价值。
参考技术A centos7系统安装的时候选择最小虚拟化，勾选虚拟化相关工具1.IP规划
1）管理IP
controller:ens33 10.4.7.160
compute01:ens33 10.4.7.161
2.资源规划
两台虚机controller，compute01
其中controller的ram7G，硬盘100G，2 2cpu，三张网卡，三个cdrom
其中compute01的ram3.5G，硬盘100G，2 2cpu，二张网卡，一个cdrom
controller作为：控制节点+网络节点+块存储节点+计算节点
compute01作为：网络节点+计算节点
3.配置yum源
本地镜像文件：
1）CentOS-7-x86_64-Everything-1804.iso
2）RHEL7-extras.iso
3）RHEL7OSP-10.iso
虚机上面创建三个cdrom，开机时分别导入这三个镜像文件
然后先将系统镜像挂到/mnt/cdrom，配置好yum源，安装httpd服务，再卸载/mnt/cdrom
接着分别将/dev/sr0,/dev/sr1,/dev/sr2,挂载到/var/www/html/base，/var/www/html/extra，/var/www/html/openstack目录（提前在/var/www/html创建好文件夹）
修改yum源，文件如下：
4.关闭防火墙和selinux
5.设置时区
6.设置时间服务器chronyd
7.安装额外的软件
8.安装和配置packstack
9.horizon bug处理
10.浏览器输入 http://10.4.7.160/dashboard 验证
openstack(liberty):部署实验平台（一，基础网络环境搭建）
openstack项目的研究，到今天，算是要进入真实环境了，要部署实验平台了。不再用devstack了。也就是说，要独立controller，compute，storage和network了。要做这个的第一步，就是要将各个服务器的软件环境（操作系统是否满足liberty的要求，centos最好是7以上），以及服务器之间的网络连接通路打通，方便后续的软件安装需要。
下面看看我的节点拓扑图，有5台机器，其中参与这个openstack的节点有4个，计划中的controller，network，storage(cinder/glance/swift)，compute。另外一个节点机器用来作为跳转机器用。因为没有那么多公网IP，只有一个服务器有公网IP，所以，openstack的节点机器只能是内网IP了，我选择的是192.168.1.xxx，如下图所示：
从上图可以看出，中间机器是通过NAT实现的跳转。SNAT是为了方便各个openstack机器方便访问公网，DNAT是为了从公网访问controller节点的dashboard的，因为这个要等到后续openstack的软件安装好后，再测试。这里就不提供这个的配置。虽然跳转机器上显示有两个网络连接，一个是public的，一个是gateway的内网连接到cisco的交换机上。其实，上图中的每台机器都有4个NIC，这几个机器都是poweredge r610服务器，由于老旧，都差不多成为了一堆费铁了。安装centos7折腾了我2天，机器启动慢的要死，启动界面提示信息，各种不正常。主要命的是只有一个机器的光驱是好的，BT公司不允许用U盘，最终折腾这些错误和残疾的设备问题，浪费了我太多时间，没有办法，在十几个硬盘中找能识别出来的，往那个光驱能用的机器上倒腾安装操作系统。。。我也是醉了，几个服务器，一个显示器，一个键盘，一个鼠标，一个能用的光驱。。。。
不扯淡了，现在，重点是要说说，各个节点上的配置信息。
首先说说跳转机器，主要配置信息就是SNAT，以及设置一个NIC作为gateway用。因为每个机器上都有em1-em4这四个NIC，跳转机器，我用em1作外网接口，em2用作gateway接口，配置192.168.1.1这个IP地址。
看看em1的ifcfg-em1配置信息（vim /etc/sysconfig/network-scripts/ifcfg-em1）：
1 HWADDR=18:03:73:f0:c3:8f 2 TYPE=Ethernet 3 BOOTPROTO=none 4 IPADDR0=a.b.c.d 5 PREFIX0=24 6 DEFROUTE=yes 7 IPV4_FAILURE_FATAL=no 8 IPV6INIT=yes 9 IPV6_AUTOCONF=yes 10 IPV6_DEFROUTE=yes 11 IPV6_PEERDNS=yes 12 IPV6_PEERROUTES=yes 13 IPV6_FAILURE_FATAL=no 14 NAME=em1 15 UUID=add4414c-d48b-4470-a578-98c7a6a0f508 16 ONBOOT=yes 17 NETMASK=255.255.255.0 18 USERCTL=no 19 PREFIX=24 20 GATEWAY0=a.b.c.1
再看看em2的ifcfg-em2的内容：
1 1 TYPE=Ethernet 2 2 BOOTPROTO=none 3 3 IPADDR0=192.168.1.1 4 4 PREFIX0=24 5 5 NETMASK=255.255.255.0 6 6 GATEWAY0=192.168.1.1 7 7 DEFROUTE=yes 8 8 IPV4_FAILURE_FATAL=no 9 9 IPV6INIT=no 10 10 IPV6_AUTOCONF=no 11 11 IPV6_DEFROUTE=no 12 12 IPV6_FAILURE_FATAL=no 13 13 NAME=em2 14 14 UUID=444422af-5b4e-4e34-a1bc-3d009ef0237f 15 15 ONBOOT=yes 16 16 USERCTL=no 17 17 HWADDR=18:03:73:F0:C3:91 18 18 IPV6_PEERDNS=no 19 19 IPV6_PEERROUTES=no
SNAT配置比较简单，第一步，就在iptables里面的nat表配置一下：
1 [[email protected] ~]# iptables -t nat -A POSTROUTING -s 192.168.1.100 -j SNAT --to-source a.b.c.d
1 [[email protected] ~]# iptables -t nat -I POSTROUTING -s 192.168.1.110 -j SNAT --to-source a.b.c.d
1 [[email protected] ~]# iptables -t nat -I POSTROUTING -s 192.168.1.120 -j SNAT --to-source a.b.c.d
1 [[email protected] ~]# iptables -t nat -I POSTROUTING -s 192.168.1.130 -j SNAT --to-source a.b.c.d
配置完成后，查看下iptables的snat信息如下：
1 [[email protected] ~]# iptables -t nat -L 2 Chain PREROUTING (policy ACCEPT) 3 target prot opt source destination 4 5 Chain INPUT (policy ACCEPT) 6 target prot opt source destination 7 8 Chain OUTPUT (policy ACCEPT) 9 target prot opt source destination 10 11 Chain POSTROUTING (policy ACCEPT) 12 target prot opt source destination 13 SNAT all -- 192.168.1.130 anywhere to:a.b.c.d 14 SNAT all -- 192.168.1.120 anywhere to:a.b.c.d 15 SNAT all -- 192.168.1.110 anywhere to:a.b.c.d 16 SNAT all -- 192.168.1.100 anywhere to:a.b.c.d
注意，只有第一个是-A添加chain为POSTROUTING，后面三个都是-I插入操作。第二步就是要打开IP forwarding，修改/etc/sysctl.conf文件，找到net.ipv4.ip_forward,修改成下面的样子：
1 net.ipv4.ip_forward=1
这里，说下，起初我的SNAT配置如下，只有一条语句如下：
1 [[email protected] ~]# iptables -t nat -A POSTROUTING -s 192.168.1.0/24 -j SNAT --to-source a.b.c.d
最后，发现从跳转机器上无法ping通其他的机器（其他openstack机器，比如controller等），但是从其他的几个节点可以ping通跳转机。起初以为是网关连接交换机的网线坏掉，后来换线后发现还是如此，仔细分析了下SNAT的配置，应该是这个配置的包转发逻辑出了点问题，也就是说，在跳转机上执行ping 192.168.1.100时，所有的从192.168.1.1出去的icmp包最后又发回到了这个跳转机器。于是，我就修改为四条iptables的规则操作，如上面的一个A三个I的操作，这样，就将192.168.1.1这个source的IP避开了，最终测试，双向都可以ping通了。
注意，上面的操作，只是临时的哟，要永久生效，必须写到/etc/sysconfig/iptables文件里面，或者，基于上面的命令执行完毕，再执行iptables-save 命令，我这里指定只save nat表：
1 [[email protected] ~]# iptables-save -t nat 2 # Generated by iptables-save v1.4.19.1 on Mon Feb 1 10:37:37 2016 3 *nat 4 :PREROUTING ACCEPT [1260048:116139336] 5 :INPUT ACCEPT [146564:41543662] 6 :OUTPUT ACCEPT [25035:1519835] 7 :POSTROUTING ACCEPT [25394:1545241] 8 -A POSTROUTING -s 192.168.1.130/32 -j SNAT --to-source a.b.c.d 9 -A POSTROUTING -s 192.168.1.120/32 -j SNAT --to-source a.b.c.d 10 -A POSTROUTING -s 192.168.1.110/32 -j SNAT --to-source a.b.c.d 11 -A POSTROUTING -s 192.168.1.100/32 -j SNAT --to-source a.b.c.d 12 COMMIT 13 # Completed on Mon Feb 1 10:37:37 2016
但是，考虑到，这样子iptables-save保存的文件没有办法开机后自动载入到iptables中，需要做一些启动时的自动加载的脚本操作，不方便，最终选择直接在/etc/sysconfig/iptables文件下面修改：
1 1 # Generated by iptables-save v1.4.19.1 on Tue Mar 10 14:56:49 2015 2 2 *nat 3 3 :PREROUTING ACCEPT [259:28155] 4 4 :INPUT ACCEPT [16:4183] 5 5 :OUTPUT ACCEPT [1:60] 6 6 :POSTROUTING ACCEPT [2:111] 7 7 -A POSTROUTING -s 192.168.1.130/32 -j SNAT --to-source a.b.c.d 8 8 -A POSTROUTING -s 192.168.1.120/32 -j SNAT --to-source a.b.c.d 9 9 -A POSTROUTING -s 192.168.1.110/32 -j SNAT --to-source a.b.c.d 10 10 -A POSTROUTING -s 192.168.1.100/32 -j SNAT --to-source a.b.c.d 11 11 COMMIT 12 12 # Completed on Tue Mar 10 14:56:49 2015 13 13 # Generated by iptables-save v1.4.19.1 on Tue Mar 10 14:56:49 2015 14 14 *filter 15 15 :INPUT ACCEPT [19308:5028665] 16 16 :FORWARD ACCEPT [123:7700] 17 17 :OUTPUT ACCEPT [13913:3438191] 18 18 COMMIT
经过测试，发现，这样子是可以满足使用，但是，既然有这么一个机器作为跳转机，做网关，为何不将其做的更加通用一点呢，选择nat的MASQUERADE.最终的配置如下，也是写如/etc/sysconfig/iptables文件中：
1 # Generated by iptables-save v1.4.19.1 on Tue Mar 10 14:56:49 2015 2 *nat 3 :PREROUTING ACCEPT [259:28155] 4 :INPUT ACCEPT [16:4183] 5 :OUTPUT ACCEPT [1:60] 6 :POSTROUTING ACCEPT [2:111] 7 -A POSTROUTING -o em1 -j MASQUERADE 8 COMMIT 9 # Completed on Tue Mar 10 14:56:49 2015 10 # Generated by iptables-save v1.4.19.1 on Tue Mar 10 14:56:49 2015 11 *filter 12 :INPUT ACCEPT [19308:5028665] 13 :FORWARD ACCEPT [123:7700] 14 :OUTPUT ACCEPT [13913:3438191] 15 COMMIT 16 # Completed on Tue Mar 10 14:56:49 2015
接下来，要配置openstack的其他几个节点机器了，每个机器的配置都差不多，下面，我就拿controller node0节点为例说明。
1. 改hostname，在/etc/sysconfig/network文件里面添加下面的一行配置
# Created by anaconda HOSTNAME=node0
然后，修改/etc/hosts文件。
1 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 2 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 3 192.168.1.100 node0 4 192.168.1.110 node1 5 192.168.1.120 node2 6 192.168.1.130 node3
2. 修改dns配置/etc/resolve.conf.添加下面的两行内容：
1 search 219.141.136.10 2 nameserver 202.106.0.20
3. 添加静态的路由，在/etc/sysconfig/static-routes文件中添加下面的一行内容（若没有这个文件，可以自己创建一个）
1 any net default gw gateway 192.168.1.1
4. 下面看看em1的配置信息：
1 TYPE=Ethernet 2 BOOTPROTO=none 3 DEFROUTE=no 4 IPV4_FAILURE_FATAL=no 5 IPV6INIT=no 6 IPV6_AUTOCONF=no 7 IPV6_DEFROUTE=no 8 IPV6_FAILURE_FATAL=no 9 NAME=em1 10 UUID=1f0572e7-b6a8-4342-83f3-749c00e1007e 11 ONBOOT=yes 12 HWADDR=18:03:73:F0:C3:1A 13 IPADDR0=192.168.1.100 14 PREFIX0=24 15 GATEWAY0=192.168.1.1 16 IPV6_PEERDNS=no 17 IPV6_PEERROUTES=no
到此，上面的控制节点上的所有的基础网络配置就算结束了，可以在这里ping一下www.baidu.com，是可以打开的：
[[email protected] opt]# ping www.baidu.com PING www.a.shifen.com (61.135.169.125) 56(84) bytes of data. 64 bytes from 61.135.169.125: icmp_seq=1 ttl=51 time=9.09 ms 64 bytes from 61.135.169.125: icmp_seq=2 ttl=51 time=4.06 ms 64 bytes from 61.135.169.125: icmp_seq=3 ttl=51 time=13.0 ms 64 bytes from 61.135.169.125: icmp_seq=4 ttl=51 time=4.49 ms 64 bytes from 61.135.169.125: icmp_seq=5 ttl=51 time=4.75 ms 64 bytes from 61.135.169.125: icmp_seq=6 ttl=51 time=4.21 ms ^C --- www.a.shifen.com ping statistics --- 6 packets transmitted, 6 received, 0% packet loss, time 5008ms rtt min/avg/max/mdev = 4.065/6.609/13.034/3.356 ms
到此，我的网络基础连接已经完成，为继续前行做好了准备！
以上是关于openstack实验环境部署的主要内容，如果未能解决你的问题，请参考以下文章