Spark 学习笔记之 Standalone与Yarn启动和运行时间测试

Posted AK47Sonic

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark 学习笔记之 Standalone与Yarn启动和运行时间测试相关的知识,希望对你有一定的参考价值。

Standalone与Yarn启动和运行时间测试:

 

  • 写一个简单的wordcount:

打包上传运行:

  • Standalone启动:

运行时间:

  •  Yarn启动:

 

 

 运行时间:

 

  • 测试结果:

Standalone要比Yarn启动快10-15s

 

以上是关于Spark 学习笔记之 Standalone与Yarn启动和运行时间测试的主要内容,如果未能解决你的问题,请参考以下文章

面试系列五 之 项目涉及技术Spark

Spark学习笔记--环境搭建

Spark学习笔记--环境搭建

[学习笔记]黑马程序员Spark全套视频教程,4天spark3.2快速入门到精通,基于Python语言的spark教程

学习笔记Spark—— Spark架构及原理

大数据技术之Spark ——Spark运行模式(local+standalone+yarn)