spark在eclipse下V2-02逐个运行spark-examples
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark在eclipse下V2-02逐个运行spark-examples相关的知识，希望对你有一定的参考价值。
逐个运行例子，查看结果
举例说明HADOOP_HOME环境变量
org.apache.spark.examples.sql.hive.JavaSparkHiveExample
修改Run Configuration,添加Env HADOOP_HOME=${HADOOP_HOME}
运行Java 类。hive例子用完，要删掉metastore_db目录。
下面用简单的方法逐个运行
eclipse ->File->Import->Run/Debug Launch Configuration
浏览到easy_dev_labs\runconfig目录。导入全部。
现在从Eclipse->Run->Run Configuration
从JavaConsumerReceiver开始，逐个往下运行。凡是没有写出来的，都是直接运行即可。
运行JavaconsumerReceiver前，先要运行SocketServer。
JavaDirectKafkaWordCount：先要运行KafkaSvr。 运行kfksvr后，去掉kafka的maven依赖，然后运行JavaDirectKafkaWordCount。做完这个例子后加上kafka到maven中。
JavaNetworkWordCount依赖SocketServer
JavaFlumeEventCount先运行，而后运行FlumeSvr。
此后SocketSvr,FlumeSvr,KafkaSvr都开着，无需关掉。
JavaKafkaWordCount依赖KafkaSvr。用原始pom文件即可。
JavaRecoverableNetworkWordCount依赖SocketServer
JavaSqlNetworkWordCount依赖SocketServer
随后可以看看这些例子的官方说明，了解例子中各个代码段的含义。
https://spark.apache.org/examples.html
以上是关于spark在eclipse下V2-02逐个运行spark-examples的主要内容，如果未能解决你的问题，请参考以下文章
分布式文件存储（HDFS/Cassandra/S3 等）是不是必须让 spark 在集群模式下运行？如果是，为啥？