xenserver7.1+cloudstack4.11.1
Posted wentjo
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了xenserver7.1+cloudstack4.11.1相关的知识，希望对你有一定的参考价值。
前言：本文仅供参考，很多东西都是看官方文档和老板的文档理解到的，有理解错的不足为奇。。本篇仅大致描述我搭建的整个过程以便未来的我再次搭建做提示，很多踩过的坑看另外一篇文章。
参考链接：
CloudStack网络初学者指南：https://www.shapeblue.com/a-beginners-guide-to-cloudstack-networking/
下面这些直接摘抄过来的
https://cwiki.apache.org/confluence/display/CLOUDSTACK/GPU+and+vGPU+support+for+CloudStack+Guest+VMs
- The vGPU-enabled XenServer 6.2 and later versions. For more information, see Citrix 3D Graphics Pack.
- GPU/vPGU functionality is supported for following HVM guest operating systems: For more information, see Citrix 3D Graphics Pack.
- Windows 7 (x86 and x64)
- Windows Server 2008 R2
- Windows Server 2012
- Windows 8 (x86 and x64)
- Windows 8.1 (“Blue”) (x86 and x64)
- Windows Server 2012 R2 (server equivalent of “Blue”)
硬件支持列表
http://hcl.vmd.citrix.com/gpus/?features=1
NVIDIA支持列表
https://docs.nvidia.com/grid/4.8/product-support-matrix/index.html
检查
1. check all groups are created on XenServer
xe gpu-group-list
2. check all cards are there in XenServer.
xe pgpu-list
QUADRO
T系列，P系列，M系列 都太贵。。。。
https://docs.nvidia.com/grid/8.0/product-support-matrix/index.html
K系列是入门之入门
1. https://docs.nvidia.com/grid/
2. 选择大版本号
3. 选择GRID Software Supported Products
https://docs.nvidia.com/grid/4.8/product-support-matrix/index.html
检查虚拟服务器版本，硬件模式，硬件列表
驱动
https://www.nvidia.com/Download/index.aspx?lang=en-us
安装
rpm –q NVIDIA-vGPU-xenserver-7.0-367.130
lsmod | grep nvidia
nvidia-smi
GRID卡
基于 NVIDIA Kepler™ 架构的 GRID K1 和 K2 卡经专门设计，可在虚拟化环境中呈现丰富的图形效果。
GPU 虚拟化
GRID 卡采用基于 NVIDIA Kepler 架构的 GPU，首次实现了 GPU 的硬件虚拟化。这意味着，多名用户可以共享单一 GPU，从而改善了用户密度，同时可提供真正的 PC 性能与兼容性。
低延迟远程显示
NVIDIA 专利的低延迟远程显示技术通过降低用户与虚拟机互动时的延迟感，大大提升了用户体验。凭借该技术，虚拟桌面屏幕直接被推向远程协议。
H.264 编码
Kepler GPU 包含高性能 H.264 编码引擎，该引擎能够以出众的画质同时对多路数据流进行编码。如此一来，便将 CPU 从编码函数中解放了出来，让编码函数能够根据服务器中的 GPU 数量而实现扩展，从而在云服务器效率方面实现了大幅飞跃。
超级大用户密度
GRID 卡具备优化的多 GPU 设计，有助于超级大限度提升用户密度。GRID K1 卡包含 4 颗 GPU 和 16GB 显存，单卡超级多可支持 100 名用户。
节能性
GRID 卡旨在提供数据中心级的节能性，其中包括名为「SMX」的革命性全新流式多处理器。因而打造出了一款经实践证明的创新解决方案，能够为企业数据中心提供革命性的每瓦特性能。
全天候可靠性
GRID 卡由 NVIDIA 设计、制造和测试，可实现七天二十四小时全天候工作。与思科、戴尔、惠普、IBM 以及 SuperMicro 等一线服务器厂商之间的密切合作可确保 卡在系统的使用寿命期限内发挥出超级佳性能与可靠性。
范围超级广的虚拟化解决方案
GRID 卡支持 Citrix、微软以及 VMware 等公司基于 GPU 的虚拟化解决方案，让人们能够从经过实践证明的广泛解决方案中灵活地进行选择。
比较
GRID K1 |
GRID K2 |
|
| GPU 数量 | 4 颗入门级 Kepler GPU | 2 颗高端 Kepler GPU |
| NVIDIA CUDA 核心总数量 | 768 | 3072 |
| 显存总容量 | 16 GB DDR3 | 8 GB GDDR5 |
| 超级大功率 | 130 W | 225 W |
| 卡长度 | 10.5 英寸 | 10.5 英寸 |
| 卡高度 | 4.4 英寸 | 4.4 英寸 |
| 卡宽度 | 双槽 | 双槽 |
| 显示输入输出 | 无 | 无 |
| Aux 电源 | 6 针连接器 | 8 针连接器 |
| PCIe | x16 | x16 |
| PCIe 的代别 | 第三代 (兼容第二代) | 第三代 (兼容第二代) |
| 散热解决方案 | 被动式 | 被动式 |
| 技术规格参数 | GRID K1 卡规格参数 | GRID K2 卡规格参数 |
使用场景
K1适合远程桌面，多屏
K2适合运行3D或大型图形应用程序
方案
vGPU Feature
This release of GRID vGPU includes support for:
? DirectX 12, Direct2D, and DirectX Video Acceleration (DXVA)
? OpenGL 4.5
? NVIDIA GRID SDK (remote graphics acceleration)
CUDA and OpenCL are supported on these virtual GPUs:
? GRID M60-8Q
? GRID M10-8Q
? GRID M6-8Q
? GRID M60-8A
? GRID M10-8A
? GRID M6-8A
GPU渲染
XenServer 7.1 LTSR 是最后一个支持K2 vGPU驱动的显卡
并且不用NVIDIA 许可证
http://hcl.xenserver.org/servers/130/
CUDA核心差异，是两张卡之间最大的不同。
K1适合远程桌面，K2适合渲染
http://on-demand.gputechconf.com/gtc/2013/webinar/gtc-express-vgpu.pdf
GPU计算
K2 在PassThrough 模式下支持OpenCL和CUDA
测试通过：Win10专业版，2012R2
测试失败：Win10工作站版
https://gridforums.nvidia.com/default/topic/1748/general-discussion/cuda-on-k2-passthrough/
上面这些一看就是大佬写的文档。。和我自己写的根本不一样的感觉。
OK 开始配置。
配置不是的单一的，有些东西可以根据具体情况改变配置，比如流量比较大的storage和guest可以通过交换机配置的改变做出选择放在光交换机上一起 or not！但是Public net由于受到较多物理设备方面的影响使用光交换机或者电交换机区别不大所以怎么样你喜欢就好！至于management net 用于cloudstack管理所以流量不是很大，so 放在电交换机上。 为了方便理解分析，这里假设只用HW48口交换机和一个24口光交换机。
环境：
hw-sw(用于management、guest、public)
hw-sw-光（用于storage）
——
host configuration：
1、host01(bios打开虚拟化,安装xenserver7.1)eht0-10.69.0.11（先配置一个能连接到internet上网）
2、打开浏览器输入10.69.0.11下载工作台，添加10.69.0.11 server-host，Management=bond0+1+2+3=10.69.0.11（会断一下网，淡定，等一会再连），Management=eth4=172.16.1.11，Storage=eth5=192.168.1.11（两个Management一个Storage没错，之后你会懂）
3、创建Windows系统VM，没有错的话windows创建好之后，配置一下windows网络要和host网卡上面的ip在一个网段，目的是让这个windows能同时连接到management，public，storage这三个网络，这样远程这个windows电脑就好搞了。
gpu（物理配置看需求，使用NVIDIA GRID k2）
gpu-host-01(bios打开虚拟化,安装xenserver7.1)---4个网口2个光口eht0-172.16.1.21（先配置一个）
gpu-host-02(bios打开虚拟化,安装xenserver7.1)---4个网口2个光口eth0-172.16.1.22
gpu-host-03(bios打开虚拟化,安装xenserver7.1)---4个网口2个光口eth0-172.16.1.23
网络规划
storage-vlan100：192.168.1.0/24
management-vlan101：172.16.1.0/24
public-vlan102:10.69.0.0/16
guest-vlan300-600
No BB，直接放配置。找感觉～
########################################################################################
hw-sw:
vlan100(storage):192.168.1.0/24---interface0/0/1-interface0/0/8---port link-type trunk,port trunk permit vlan 100
vlan101(management):172.16.1.0/24---interface0/0/9-interface0/0/24---port access vlan 101
vlan102(public):10.69.0.0/16---interface0/0/25-interface0/0/32---port link-type trunk,port trunk permit vlan all
vlan300-600(guest):vlan300-600
hw-sw-光：vlan100---interface0/0/1-interface0/0/46---port access vlan 100
interface0/0/47-inter0/0/48---port link-type trunk,port trunk prtmit vlan 100
以上是关于xenserver7.1+cloudstack4.11.1的主要内容，如果未能解决你的问题，请参考以下文章
cloudstack4.6 + xenserver架构云环境部署