Ceph与OpenStack整合(仅为云主机提供云盘功能)
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Ceph与OpenStack整合(仅为云主机提供云盘功能)相关的知识，希望对你有一定的参考价值。
1. Ceph与OpenStack整合(仅为云主机提供云盘功能)
创建： ，最新修改： 大约1分钟以前
部署一个cinder-volume节点。部署过程中可能报错（部署过程请参考官方文档）
报错内容：
2016-05-25 08:49:54.917 24148 TRACE cinder RuntimeError: Could not bind to 0.0.0.0:8776 after trying for 30 seconds
问题分析：
RuntimeError->访问违例,这种情况是由于0.0.0.0:8776端口冲突的问题，如果你讲cinder-api和cinder-schduler，cinder-volume部署在同一台机器
就会有这个端口冲突的问题，我遇到的情况是haproxy的端口和cinder-api的端口都是8776
解决方法：
vim /etc/cinder/cinder.conf
新增如下两行：
osapi_volume_listen=172.16.209.17
osapi_volume_listen_port=8776在ceph的monitor节点创建pool，创建对这个pool有rwx权限的账号，导出该账号的秘钥文件拷贝给cinder-volume节点和需要使用该pool的计算节点，只发送配置文件给cinder-volume节点（计算节点要想获取ceph集群信息由cinder-volume节点告诉他，所以不需要配置文件）
scp -r /etc/ceph/ceph.conf cinder-volume节点ip:/etc/ceph
scp -r /etc/ceph/ceph.client.cinder.keyring cinder-volume节点ip:/et/ceph
scp -r /etc/ceph/ceph.conf compute节点ip:/etc/ceph
scp -r /etc/ceph/ceph.client.cinder.keyring compute节点ip:/et/ceph
ceph auth get-or-create client.cinder mon ‘allow r‘ osd allow ‘class-read object_prefix rbd_children, allow rwx pool=volume-pool‘ -o /etc/ceph/ceph.client.cinder.keyring
ceph osd pool create volume-pool 128 128
创建存储池volume-pool，请记池的名字，cinder-volume和compute节点都需要在配置文件中指定这个池
创建访问volume-pool这个池的账号，注意：下面我标红的部分 ,账号名字必须是client. 开头（client.cinder其中cinder就是你的账号名，client代表你的角色是客户端，），导出的账号秘钥文件命名规则为ceph.client.账号名.keyring（这个文件必须放到ceph客户端的/etc/ceph目录下）
将ceph集群的配置文件和上一步创建的秘钥文件一并发送给客户端（cinder-volume节点，compute节点）,注意:一定要将这两个文件拷贝到ceph客户端的/etc/ceph目录下(cinder.conf中有很多缺省配置，寻找ceph配置文件的路径默认/et/ceph)
配置cinder-volume节点
yum install ceph-common -y
修改 /etc/cinder/cinder.conf：
[DEFAULT]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
storage_availability_zone=blockstrage03-ceph
rbd_pool = volume-pool
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1
glance_api_version = 2
rbd_user = cinder/etc/init.d/openstack-cinder-volume restart
tail -f /var/log/cinder/volume.log
报错：Unable to update stats, RBDDriver -1.1.0 driver is uninitialized.
问题分析：cinder-volume无法连接ceph集群导致驱动无法正常初始化，请看2->b->i和2->c 标红部分
解决方法：参照2->b-i和2->c标红部分指示的命名规则重新命名你的文件，以及文件在客户端的存放路径，重启openstack-cinder-volume服务
配置compute节点，升级qemu-*包，重启libvirtd，制作秘钥文件导入libvirt
cat /etc/ceph/ceph.client.cinder.keyring
virsh secret-list
cat > secret.xml <<EOF
<secret ephemeral=‘no‘ private=‘no‘>
<usage type=‘ceph‘>
<name>client.cinder secret</name>
</usage>
</secret>
EOF链接：http://172.16.201.36/qemu-kvm-for-ceph/或者http://apt-mirror.sepia.ceph.com/centos6-qemu-kvm/
下载qemu-开头的包，放到本地路径
切换到本地路径下执行rpm -Uvh qemu-* --force
service libvirtd restart
/usr/libexec/qemu-kvm -drive format=?
[[email protected] ~]# rpm -qa |grep qemu
qemu-kvm-tools-0.12.1.2-2.415.el6.3ceph.x86_64
qemu-kvm-0.12.1.2-2.415.el6.3ceph.x86_64
gpxe-roms-qemu-0.9.7-6.14.el6.noarch
qemu-img-0.12.1.2-2.415.el6.3ceph.x86_64
qemu-guest-agent-0.12.1.2-2.415.el6.3ceph.x86_64[[email protected] ~]# virsh version
Compiled against library: libvirt 0.10.2
Using library: libvirt 0.10.2
Using API: QEMU 0.10.2
Running hypervisor: QEMU 0.12.1[[email protected] ~]# /usr/libexec/qemu-kvm -drive format=?
Supported formats: raw cow qcow vdi vmdk cloop dmg bochs vpc vvfat qcow2 qed vhdx parallels nbd blkdebug host_cdrom host_floppy host_device file gluster gluster gluster gluster rbd[[email protected] ~]# /usr/libexec/qemu-kvm -M ?
Supported machines are:
pc RHEL 6.5.0 PC (alias of rhel6.5.0)
rhel6.5.0 RHEL 6.5.0 PC (default)
rhel6.4.0 RHEL 6.4.0 PC
rhel6.3.0 RHEL 6.3.0 PC
rhel6.2.0 RHEL 6.2.0 PC
rhel6.1.0 RHEL 6.1.0 PC
rhel6.0.0 RHEL 6.0.0 PC
rhel5.5.0 RHEL 5.5.0 PC
rhel5.4.4 RHEL 5.4.4 PC
rhel5.4.0 RHEL 5.4.0 PC
如果升级后新建虚拟机碰到上述提示信息，可以修改虚拟机的xml配置文件，machine=‘rhel6.5.0’或者干脆删掉machine，然后用virsh define 虚拟机名字.xml
<os>
<type arch=‘x86_64‘ machine=‘rhel6.5.0‘>hvm</type>
<boot dev=‘hd‘/>
<smbios mode=‘sysinfo‘/>
</os>
yum install ceph-common -y
注意：目前生产环境是基于centos6.5构建openstack I版本，openstack-nova-compute-2014.1.5-1.el6.noarch->libvirt-python-0.10.2-54->libvirt 0.10.2-> QEMU 0.12.1，而这个版本的QEMU不支持rbd协议，openstack-nova-compute-2014.1.5-1只支持ibvirt-python-0.10.2-54，如果你升级
libvirt那么相应的libvirt-python也要升级，进而openstack-nova-compute也要升级，其实你只需要用同一版本的qemu带ceph支持的包替换原来的qemu版本就可以了。查看命令（升级后的结果应该是这样）
升级方法： Supported formats: raw cow qcow vdi vmdk cloop dmg bochs vpc vvfat qcow2 qed vhdx parallels nbd blkdebug host_cdrom host_floppy host_device file gluster gluster gluster gluster rbd --------------->看到这个证明升级成功
制作secret.xml文件，注意标红部分必须是2->b->i指定的名字
virsh secret-define --file secret.xml
找到刚刚定义的client.cinder用户的uuid
找到ceph提供的秘钥文件的秘钥
virsh secret-set-value $(virsh secret-list |grep client.cinder |awk ‘{print $1}‘) --base64 $(cat /etc/ceph/ceph.client.cinder.keyring |awk ‘NR==2{print $3}‘)
vim /etc/nova/nova.conf
rbd_user=cinde
rbd_secret_uuid=dda10a4e-c03c-b029-ef07-ce86e7a07bdd ------------------>值为：virsh secret-list |grep client.cinder |awk ‘{print $1}/etc/init.d/openstack-nova-compute restart
延伸：cinder为云主机提供云盘，在计算节点的映射关系
分析：在为云主机添加完云盘后，进入该云主机所在的计算机点
进入云主机fdisk -l，可以发现新增了一块硬盘
进入云主机所在的计算节点，发现同样新增了一块硬盘
问题就是，cinder服务其实就是把硬盘映射给了计算节点，读写请求都交给计算节点去做，然后计算节点负责把该硬盘映射给自己虚拟出来的云主机
在计算节点：
1.
[[email protected] by-path]# ll /dev/disk/by-path/ip-10.5.0.20\:3260-iscsi-iqn.2010-10.org.openstack\:volume-26f04424-7ddb-4756-9648-e023b84bcd5e-lun-1
lrwxrwxrwx. 1 root root 9 May 25 18:43 /dev/disk/by-path/ip-10.5.0.20:3260-iscsi-iqn.2010-10.org.openstack:volume-26f04424-7ddb-4756-9648-e023b84bcd5e-lun-1 -> ../../sdb
2.
[[email protected] by-path]# cat /etc/libvirt/qemu/instance-00000031.xml |grep disk
<disk type=‘file‘ device=‘disk‘>
<source file=‘/var/lib/nova/instances/db14cd53-b791-4f0b-91cd-0e160dd7b794/disk‘/>
</disk>
<disk type=‘block‘ device=‘disk‘>
<source dev=‘/dev/disk/by-path/ip-10.5.0.20:3260-iscsi-iqn.2010-10.org.openstack:volume-26f04424-7ddb-4756-9648-e023b84bcd5e-lun-1‘/>
</disk>
本文出自 “一个好人” 博客，请务必保留此出处http://egon09.blog.51cto.com/9161406/1783315
以上是关于Ceph与OpenStack整合(仅为云主机提供云盘功能)的主要内容，如果未能解决你的问题，请参考以下文章
Ceph与OpenStack整合(将云主机磁盘镜像文件直接建在ceph集群vms存储池中)