如何在idea里面直接运行spark streaming程序
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何在idea里面直接运行spark streaming程序相关的知识，希望对你有一定的参考价值。
参考技术A ，客户端和虚拟集群中hadoop、spark、scala的安装目录是一致的，这样开发的spark应用程序的时候不需要打包spark开发包和scala的库文件，减少不必要的网络IO和磁盘IO。当然也可以不一样，不过在使用部署工具spark-submit的时候需要参数指明classpath。1：IDEA的安装
官网jetbrains.com下载IntelliJ IDEA，有Community Editions 和& Ultimate Editions，前者免费，用户可以选择合适的版本使用。
根据安装指导安装IDEA后，需要安装scala插件，有两种途径可以安装scala插件：
启动IDEA -> Welcome to IntelliJ IDEA -> Configure -> Plugins -> Install JetBrains plugin... -> 找到scala后安装。
启动IDEA -> Welcome to IntelliJ IDEA -> Open Project -> File -> Settings -> plugins -> Install JetBrains plugin... -> 找到scala后安装。本回答被提问者采纳
以上是关于如何在idea里面直接运行spark streaming程序的主要内容，如果未能解决你的问题，请参考以下文章
关于IDEA开发环境下的Kafka+Spark Streaming的classpath配置方式
如何在 Windows 10 上运行 Spark Streaming 应用程序？