IBM“认知课堂”如何使用Docker服务于超百万学者

Posted 2020-12-25

“认知课堂（Cognitive Class）”是IBM面向全球技术人员提供的高质量课程学习平台，课程主题包括人工智能（AI）、机器学习、数据科学、大数据、分析和数据库等，前身为IBM Big Data University。自发布以来，“认知课堂”跨过了一项又一项里程碑，如今已拥有超过100万名学习者。

这篇文章中将分享IBM“认知课堂”在技术方面的里程碑和演变，特别是平台是如何从一个静态基础架构转变到现在使用Docker、运行着数十个Open edX实例的动态+可扩展部署的。

OPEN EDX 101

Open edX是edx.org提供的开源代码。它由几个存储库组成，edx-platform是其主要存储库。如果想要部署Open edX实例，官方的方法是使用配置好的repo，通过Ansible playbooks自动安装。这种方式需要访问正在运行Ansible playbook的服务器。在这些完成之后，你将获得一个全新的Open edX部署。

IBM也是这样运营cognitiveclass.ai（我们的对外网站）的，从2015年开始IBM将“认知课堂”从Moodle部署转移到了Open edX上。Open edX提供了很好的服务，使得我们每天可以为数百名并发学习者提供超过70门课程。

但我们仍然面临着一些挑战：

• Open edX主要针对的是Amazon的AWS服务，但我们要在IBM Cloud上运行我们的基础架构。

• 需要创建虚拟机来部署新实例。

• Open edX从存储在服务器中的JSON文件中读取配置信息，每个实例必须保持这些文件同步。

虽然我们能够在大型的单一部署中克服这些问题，但对于我们的新目标对象，Cognitive Class Private Portals来说它们会变得很难管理。

商业用途的“认知课堂”

在向其他公司介绍时，我们经常会听到同样的问题：“我怎么样才能让我的员工明白并使用这些内容呢？”，这也是我们为“认知课堂”创立“专属门户（Private Portals）”的动机所在。

“专属门户”是一个专门为客户创建的专用部署，用户可以独享专属于他的“认知课堂“，可以创建自定义学习路径、自行定制课程、追踪学习进度、设置访问限制、创立竞赛等等。“专属门户”服务是IBM为团队、部门、小型企业、大型企业、学术机构和培训提供商等推出的。从技术角度来看，这就要求我们能够快速按需推出新的部署。我们回到前文提到的几点挑战，随着部署数量的增长，第二点和第三点尤其具有挑战性。

为每个部署创建和配置新的虚拟机是一个缓慢而且昂贵的过程。如果某个Portals超出了它的资源，我们不得不需要找到一种方法来扩展它，并且在多个虚拟机中管理它的配置。

使用Docker

与此同时，我们在Virtual Labs（供课程用户进行实践操作的环境）的基础设施中遇到了类似的需求，数百个虚拟机的使用让管理非常混乱。于是IBM的Virtual Labs团队开始研究并且实现基于Docker的解决方案。

对我们来说，Docker的主要好处有两个：

• 提高服务器的使用密度；

• 隔离服务进程以及文件。

这些好处是密切相关的：因为每个容器管理自己runtime和文件，我们能够在同一个服务器上轻松运行不同的软件，而不会相互干扰。与虚拟机相比，我们这样做的开销要低很多，因为Docker在它们之间提供了轻量级的隔离。

通过提高使用密度，我们能够在少量大型服务器中运行数千个容器，这些服务器可以提前进行配置，而不需要去管理数千个较小的实例。

对于IBM的“认知课堂-专属门户“网站来说，这意味着我们可以在几分钟内准备好使用新部署。底层的基础设施已经就位，所以我们只需要启动一些容器即可。

使用Rancher管理容器

Docker本身就是一项出色的技术，但面对高度可扩展的分布式生产环境，我们仍需要借助其他工具或平台来管理容器的生命周期。在“认知课堂”平台中，我们决定使用Rancher，它能够让我们将基础设施抽象出来，只需专注于应用程序本身。

简而言之，Rancher将容器组织成服务，接着服务被分组到stack中。把stack部署到环境中，而环境由主机控制，主机是最终启动容器的底层服务器。Rancher负责在所有主机上创建专用网络，以便他们可以相互安全地进行通信。

让一切运行起来

我们的网站采用微服务架构，都在Rancher中以stack的形式组合在一起。Open edX是主要组成部分，它可以分为较小的服务。除了Open edX之外，我们还有其他几个组件可以为我们的产品提供额外的功能。下图是我们的Rancher界面示例：

这里有非常多的内容，所以我们来快速解释一下这些内容：