Docker On YARN在线讲座资料以及答疑

Posted 2021-05-01 hadoop123

点击hadoop123关注我哟

☀ 最知名的hadoop/spark大数据技术分享基地，分享hadoop/spark技术内幕，hadoop/spark最新技术进展，hadoop/spark行业技术应用，发布hadoop/spark相关职位和求职信息，hadoop/spark技术交流聚会、讲座以及会议等。

---

昨晚，由我和同事杨华辉通过大数据公开课的方式，给大家介绍了Hulu北京大数据团队在Docker和YARN所作的一些工作，超过500名大数据爱好者同时在线观看了直播，业界反响强烈，受到大量Docker和Hadoop爱好者第一时间关注。

在最后答疑阶段，大家提出了很多非常有价值的问题，由于时间问题，我们没有全部解答完，为了弥补这个缺憾，我们整理了其中一些，给大家一个统一的回答。

问题1：VoidBox（Docker On YARN在Hulu的实现方案）会开源吗？

我们有开源的计划，目前Voidbox对批处理（DAG）作业支持的非常完好，而接下来将完善对长服务的支持，一旦这一块完成之后，将对外开源，时间可能在今年末和明年初。

问题2：Hulu北京大数据团队招人吗，如何投递简历？

问题3：VoidBox在hulu有哪些典型的应用？

VoidBox在hulu内部多条生产线了得到了应用，包括batch workflow的运行，facematch等，这些在PPT中均有描述和介绍，这些应用之所以非常适合voidbox解决，主要得益于Docker轻量级和能解决复杂环境依赖，以及YARN强大的资源调度和资源整合等优势。

问题4：为什么你们选用YARN作为资源管理系统，而没有采用Mesos?

这是我们考虑多方面原因所作出的决定。首先，YARN作为Hadoop中最核心的数据操作系统，是每个互联网公司必备的，在hulu，YARN之上已经运行了包括MapReduce，Spark和Tez等多种混合的批处理作业，以及Spark Streaming这样的流式作业，而随着Docker的流行，我们从去年开始考虑引入了Docker作业，这类作业只占很小一部分，我们不想为了引入Docker，而重新部署一套跟YARN类似的数据操作系统Mesos，这很可能是得不偿失的；其次，Hulu北京大数据团队在YARN的使用上已经积累了丰富的经验，已经具备了驾驭YARN内核的能力；最后，我们更看好Hadoop的社区和影响力，随着YARN的日趋完善，包括对长服务的支持（hadoop 2.6.0已经开始支持，将要发布的2.8.0将做到非常完美的支持，且具备的功能基本与Mesos持平），以及之上各种Apache项目的推出，比如Apache Twill和Apache Slider等，Hadoop必将成为一个逼近Google Borg甚至超越它的通用资源管理系统。

问题5：VoidBox目前现状如何？

VoidBox计划支持两种类型的应用程序，一种是DAG批处理作业，另一种是长服务，第一种已经得到了完美的支持，且在hulu多条生产线了得到了使用；第二种是长服务，目前正在开发中，一旦有进展，我们会及时通过公开课的方式让大家了解我们的实现。

问题6：VoidBox有中文文档和介绍吗？