Deploy Helion Openstack 2.0 KVM for Ceph

Posted 2020-07-10

目  录

1. 安装Lifecycle Manager 1

2. 配置Lifcecycle Manager 1

3. 配置环境 2

4. 安装部署裸机 2

5. 部署Helion 3

6. 配置Ceph存储 5

7. 安装后配置 10

附1：配置public证书 12

1. 安装Lifecycle Manager

1 VM 拓扑

基于此拓扑及下面的配置，可以完成部署，可以在ceph 集群上创建卷并挂载到VM 上。

在第一台控制节点上从Helion光盘启动操作系统

输入install启动安装

选择语言，仅支持英文

选择位置

选择键盘类型

设定网络

创建账号，用stack用户

2. 配置Lifcecycle Manager

必须用stack用户登陆系统，且在执行下面命令时不要随意加sudo

sudo mount Helion-OpenStack-X.X.X.iso /media/cdrom

cp /media/cdrom/hos/hos-2.XXX.tar ~stack/

cd ~stack

tar xvf hos-2.XXX.tar

~/hos-2.X.X/hos-init.bash

在此可以设定一个密码，用于Ansible连接到其它节点时保护密钥，可以为空

在无人值守环境中，可以用export HOS_INIT_AUTO=y来避免提示输入密钥

如设定了密钥，可用eval $(ssh-agent); ssh-add ~/.ssh/id_rsa来避免Ansible每次连接到其它节点时都需输入密码

3. 配置环境

拷贝配置样例至配置文件目录

cp -r ~/helion/examples/entry-scale-kvm-vsa/* ~/helion/my_cloud/definition

编辑配置文件

可选（如果通过域名访问Public API）：配置Public证书

提交配置

cd ~/helion/hos/ansible

git add -A

git commit -m "<commit message>"

每次改动配置文件后都需进行提交

4. 安装部署裸机

部署Cobbler

确认IPMI连通性

cd ~/helion/hos/ansible

ansible-playbook -i hosts/localhost bm-power-status.yml

部署Cobbler

cd ~/helion/hos/ansible

ansible-playbook -i hosts/localhost cobbler-deploy.yml

部署Cobbler时需要设定其它节点的操作系统密码（该密码将加密保存在Cobbler），用户名和该节点相同

使用Cobbler部署其它节点的操作系统

在所有其他节点上启用PXE网卡的网络启动功能，并将第一启动顺序配置为网络启动

重启所有其它节点

重启后自动通过网络启动安装，等待安装完毕自动关机

修改第一启动顺序为磁盘，并且重启

等待节点自动配置并验证SSH免输密码登陆

如果部分节点安装失败，需要重新安装

cd ~/helion/hos/ansible

ansible-playbook -i hosts/localhost bm-reimage.yml [-e nodelist=node1,node2,...]

如果没有nodelist选项，将自动查找该yml文件中netboot-enabled: True的节点，在重新安装前可以确认自动查找结果

也可以通过该命令查看哪些节点启用了网络启动：sudo cobbler system find --netboot-enabled=1

5. 部署Helion

运行配置处理器

cd ~/helion/hos/ansible

ansible-playbook -i hosts/localhost config-processor-run.yml

该步骤需要输入加密密码，该密码用来加密系统产生的敏感信息，比如：内部服务密码

在第一个提示中输入要设定的密码或已经设定的密码（已经运行过配置处理器）

在第二个提示中输入修改后的密码（如果要修改密码）或直接按回车忽略（第一次运行或不修改密码）

在无人值守环境中采用以下命令可以禁用加密

ansible-playbook -i hosts/localhost config-processor-run.yml -e encrypt="" -e rekey=""

部署云

创建部署目录

cd ~/helion/hos/ansible

ansible-playbook -i hosts/localhost ready-deployment.yml

可选：擦除磁盘

cd ~/scratch/ansible/next/hos/ansible

ansible-playbook -i hosts/verb_hosts wipe_disks.yml

运行site.yml脚本

cd ~/scratch/ansible/next/hos/ansible

ansible-playbook -i hosts/verb_hosts site.yml

如果运行配置处理器时采用了密码，请改用以下命令，并在提示时输入之前设定的密码

ansible-playbook -i hosts/verb_hosts site.yml --ask-vault-pass

如果有节点部署失败需要单独重新部署

ansible-playbook -i hosts/verb_hosts site.yml --limit @/home/stack/site.retry

ansible-playbook -i hosts/verb_hosts site.yml --limit helion-cp1-comp0002-mgmt

该阶段将运行osconfig命令配置云，并运行hlm-deploy命令部署云，预计需要45分钟，视节点数量而定

检测部署结果

ping任一控制节点的/etc/hosts文件中列出的ip地址

6. 配置Ceph存储

前面的工作将自动安装Ceph软件于指定的节点上，此部分内容描述在此之后的还需进行的手动配置Ceph后端的操作

Ceph集群将会把用于管理网络的网络组保留为默认值，比如MANAGEMENT，改变它将会导致部署失败

Ceph集群监视服务默认安装于控制节点，但也可将其安装于独立的节点

在安装部署云时，需要拷贝的样例配置文件为entry-scale-kvm-ceph/*

仅HOS2.0：当使用--limit选项执行site.yml剧本时，受限节点清单还将包括Ceph的监视服务节点

部署Openstack Cinder后端

登陆Lifecycle Manager

安装Ceph客户端

cd ~/scratch/ansible/next/hos/ansible

ansible-playbook -i hosts/verb_hosts ceph-client-prepare.yml

对已经存在的节点，执行上述命令，对以后新增的节点，使用--limit开关

将会在计算节点上安装Ceph客户端

仅HOS2.0，安装Ceph客户端后将需要手动配置Keyring

拷贝以下文件从Lifecycle Manager节点至所有其它控制节点的相应目录

/etc/ceph/ceph.client.cinder-backup.keyring

/etc/ceph/ceph.client.cinder.keyring

/etc/ceph/ceph.client.glance.keyring

/etc/ceph/client.cinder.key

修改这些文件的权限：chmod 0644 FILES

仅HOS2.1，当Lifecycle Manager为独立节点时：在Lifecycle Manager上安装客户端和配置Keyring文件

需进行配置和设置Keyring文件，使得Lifecycle Manager能够访问Ceph集群

cd ~/scratch/ansible/next/hos/ansible

ansible-playbook -i hosts/verb_hosts ceph-setup-deployer-as-client.yml

将选择其中1台同时具备admin和mon Keyring的控制节点作为管理节点

如果将Ceph做Cinder的存储后端——

编辑~/helion/my_cloud/config/cinder/cinder.conf.j2

# Configure the enabled backends

enabled_backends=ceph-1

[ceph-1]

rbd_secret_uuid = <secret-uuid>

#UUID见~/helion/my_cloud/config/ceph/user_model.yml文件的secret_id——

ceph_user_models:

    - user:

          name: cinder

          type: openstack

          secret_id: 457eb676-33da-42ec-9a8c-9293d545c337

#uuidgen能够产生新UUID，建议修改

pools:

    - name: volumes

rbd_user = <ceph-cinder-user>

rbd_user见~/helion/my_cloud/config/ceph/user_model.yml文件的user name

内容同上，默认为cinder

rbd_pool = <ceph-cinder-volume-pool>

rbd_pool见~/helion/my_cloud/config/ceph/user_model.yml文件的pool name

内容同上，默认为volumes（有多个pool，采用用途为cinder-volume的pool）

rbd_ceph_conf = <ceph-config-file>

Ceph配置文件位置，通常为/etc/ceph/ceph.conf

volume_driver = cinder.volume.drivers.rbd.RBDDriver

volume_backend_name = <ceph-backend-name>

设定一个backend名称，后面将会用到

编辑~/helion/my_cloud/config/nova/kvm-hypervisor.conf.j2，配置下面内容：

[libvirt]

rbd_user = cinder        #用户名见上面

rbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337        #UUID见上面

此内容指示libvirt去挂载Ceph，使用从Ceph创建的虚拟机，而不是让内核集成的Ceph功能去挂载它

如果需要将从镜像创建的虚拟机也默认存储在Ceph上，需要添加下面内容：

images_rbd_ceph_conf = /etc/ceph/ceph.conf

images_rbd_pool = vms

images_type = rbd

o 如果将Ceph做Cinder的备份后端——

编辑~/helion/my_cloud/config/cinder/cinder.conf.j2

[DEFAULT]

backup_driver = cinder.backup.drivers.ceph

backup_ceph_conf = <ceph-config-file>

Ceph配置文件位置，通常为/etc/ceph/ceph.conf

backup_ceph_user = <ceph-backup-user>

User见~/helion/my_cloud/config/ceph/user_model.yml文件的Cinder-backup User——

    - user:

          name: cinder-backup

          type: openstack

      pools:

          - name: backups

backup_ceph_pool = <ceph-backup-pool>

Pool见~/helion/my_cloud/config/ceph/user_model.yml文件的pool name

内容同上

o 如果将Ceph做Glance的存储后端——

编辑~/helion/my_cloud/config/glance/glance-api.conf.j2

[glance_store]

stores = rbd

default_store = rbd

#============ RBD Store Options ============

rbd_store_ceph_conf = /etc/ceph/ceph.conf

rbd_store_user = glance

rbd_store_pool = images

rbd_store_chunk_size = 8

注释下面Swift小节的全部选项

#============ SWIFT Store Options ============

注意：HOS默认采用Swift作为Glance的后端

如果已经上载了镜像，需要重新上载到RDB上，并且快照或删除使用了这些镜像的实例然后重新创建它

重新部署Ceph

cd ~/helion/hos/ansible

git add -A

git commit -m "config Ceph backends"

export HOS_USER_PASSWORD_ENCRYPT_KEY=<encryption key>

#如果启用了密码加密

ansible-playbook -i hosts/localhost config-processor-run.yml

ansible-playbook -i hosts/localhost ready-deployment.yml

cd ~/scratch/ansible/next/hos/ansible

ansible-playbook -i hosts/verb_hosts cinder-reconfigure.yml

ansible-playbook -i hosts/verb_hosts nova-reconfigure.yml

ansible-playbook -i hosts/verb_hosts glance-reconfigure.yml

创建卷类型

用admin登陆Openstack Dashboard，转到Admin | System | Volumes页面

Volume Types -> Create Volume Type -> 输入一个名字 -> Create Volume Type

找到刚创建的卷类型，展开右侧的下拉菜单，选择View Extra Specs -> Create

key和value可以用

必须—Key：volume_backend_name；Value：之前在cinder.conf.j2中配置的backend名称

7. 安装后配置

~/scratch/ansible/next/hos/ansible/group_vars存储有admin用户和demo用户的身份凭据

登陆Lifecycle Manager

设置环境变量使得命令行客户端可以正确使用

cd ~/scratch/ansible/next/hos/ansible

ansible-playbook -i hosts/verb_hosts cloud-client-setup.yml

/etc/hosts下不再有Lifecycle Manager的入口，这将会使得访问变慢，可手动添加

127.0.0.1        localhost        hlm

备份SSH Key，位于Lifecycle Manager的~/.ssh目录

附1：配置public证书

(如果采用域名访问Public API，则需配置)

回到安装流程

根据生成的VIP或FQDN来生成证书

openssl req -nodes -newkey rsa:2048 -keyout my-public-cert.key -out my-public-cert.csr -text -subj ‘/C=US/O=Helion Test Certificate/CN=your.domain.com/[email protected]/‘

将生成私钥文件my-public-cert.key和证书请求文件my-public-cert.csr

生成v3 extensions文件

cat > v3_ext.cnf << *EOF*

[ v3_req ]

subjectAltName=DNS:your.domain.com,DNS:10.0.0.1, IP:10.0.0.1

*EOF*

自签名证书

openssl x509 -days 365 -extfile v3_ext.cnf -extensions v3_req -in my-public-cert.csr -signkey my-public-cert.key -req -text -out my-public-cert.crt

将生成证书公钥文件my-public-cert.crt

合成Helion需要的证书

将my-public-cert.key和my-public-cert.crt的内容合并为my-public-cert.crt文件，拷贝到~/helion/my_cloud/config/tls/certs/

my-public-cert.key的内容在前，my-public-cert.crt的内容在后

（如果没有配置证书或者修改证书文件名称）安装或更新证书

修改network_group.yml里相应内容

运行config-processor-run.yml和ready-deployment.yml

部署新证书

cd ~/scratch/ansible/next/hos/ansible

ansible-playbook -i hosts/verb_hosts FND-CLU-deploy.yml

部署CA链

cd ~/scratch/ansible/next/hos/ansible

ansible-playbook -i hosts/verb_hosts horizon-deploy.yml

（可选，如果采用的是FQDN）重新配置nova服务让vnc代理能够应用此更新

cd ~/scratch/ansible/next/hos/ansible

ansible-playbook -i hosts/verb_hosts nova-reconfigure.yml

回到安装流程

作者：小布（ZHC）原HPE

本文出自 “HellionOpenstackDeploy” 博客，转载请与作者联系！