Hadoop组件是否有兼容性矩阵？

Posted 2021-03-27

我想知道生态系统的各种Hadoop组件是否有兼容性矩阵？

每次Hadoop升级都会产生很大的兼容性影响，例如：

• Apache Spark 2.4不支持Hadoop v3，
• Hadoop不支持Java 9和10，
• 等等...

我知道像Hortonworks这样的供应商会在每个版本的发行版中发布组件列表，但这并不适合公众，因为这包括修补组件。

是否必须通过Jira上的所有bug跟踪器查找每个工具以找出兼容性问题？

答案

像Cloudera / Hortonworks这样的公司所做的关键事情之一就是采用构成Hadoop的所有开源项目，并确保它们能够很好地协同工作。从功能角度和安全性两方面来看，都进行了大量的测试和调整，以确保所有内容组合在一起形成适当的版本。

既然您已经了解了在发布一个只关注最近版本的发行版上需要付出多少努力，您可能会理解，除了这些发行版之外，不会对“如何一切都适用于所有内容”进行一般性概述。

完全披露：我是Cloudera的员工，但即使没有这个，我仍然会建议您尽可能使用分销