如何正确使用Hadoop YARN Restful api提交spark应用

Posted 2023-03-30

参考技术A 以wordcount为例，在map阶段，map函数在每个单词后面加上一个1；

在reduce阶段，reduce函数将相同单词后面的1都加起来。

其中hadoop框架实现过程中的排序，分配等，当然这些也可以通过自定义的函数来控制。