idea以yarn-client 提交任务到yarn

Posted 2021-04-29 浪尖聊大数据

鉴于很多小白经常问我如何用idea提交任务到yarn，这样测试的时候不用频繁打包。

昨天，晚上健身回来录了一个小视频，说是小视频但是耗时也比较长，将近40min。可能是健身脱水太多，忘了补充盐分，无力感十足。

构建工程的命令：

mvn archetype:generate \
-DarchetypeGroupId=org.scala-tools.archetypes \
-DarchetypeArtifactId=scala-archetype-simple  \
-DremoteRepositories=http://scala-tools.org/repo-releases \
-DgroupId=bigdata.spark.app \
-DartifactId=bigdata \
-Dversion=1.0

这样做的目的是，为我接下来分享spark streaming视频做铺垫，材料精细组织，浪尖也不会说废话，都是面试和多年企业中实战经验。