Spark-Streaming hdfs count 案例

Posted 2022-05-23 hanwen1014

Streaming hdfs count 需要先启动 hadoop 集群。

# 启动 hadoop 集群
start-dfs.sh
start-yarn.sh

# 查看是否启动成功 
# 命令 jps
jps

　　hadoop 启动成功之后，下面就是关于 stream 的代码，stream 统计代码如下，将下面的代码进行打包，上传到服务器上即可。

import org.apache.spark.SparkConf
import org.apache.spark.streaming.Seconds, StreamingContext

object HdfsWordCount 
  def main(args: Array[String]): Unit = 
    if (args.length < 2) 
      System.err.println("Usage: HdfsWordCount <directory>")
      System.exit(1)
    

//    StreamingExamples.setStreamingLogLevels()
    val sparkConf = new SparkConf().setAppName("HdfsWordCount")
    // Create the context
    val ssc = new StreamingContext(sparkConf, Seconds(10))

    // Create the FileInputDStream on the directory and use the
    // stream to count words in new files created
    val lines = ssc.textFileStream(args(0))
    val words = lines.flatMap(_.split(" "))
    val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _)
    wordCounts.print()
//    wordCounts.saveAsTextFiles(args(1))
    ssc.start()
    ssc.awaitTermination()
  

　　代码需要传递两个参数，一个是 stream 监控的数据输入目录，一个是输出目录。对应的执行脚本如下。

$SPARK_HOME/bin/spark-submit        --class com.hw.streaming.HdfsWordCount        --master yarn-cluster         --executor-memory 1G         --total-executor-cores 2         --files $HIVE_HOME/conf/hive-site.xml         --jars $HIVE_HOME/lib/mysql-connector-java-5.1.25-bin.jar,$SPARK_HOME/jars/datanucleus-api-jdo-3.2.6.jar,$SPARK_HOME/jars/datanucleus-core-3.2.10.jar,$SPARK_HOME/jars/datanucleus-rdbms-3.2.9.jar,$SPARK_HOME/jars/guava-14.0.1.jar         ./SparkPro-1.0-SNAPSHOT-jar-with-dependencies.jar         hdfs://master:9000/data/input hdfs://master:9000/data/output

　　执行对应的脚本

# 脚本是跑在 yarn-cluster 上的，所以可以通过 ui 界面查看对应的内容
sh  hdfs_run.sh 

　　脚本运行之后，一开始监控的输入目录是没有任何数据的，现在尝试往输入目录上传对应的数据文件，如下。

# 随便上传一个文件，比如这里是 3.txt，对应的内容是
# cat 3.txt
hello world
hello world
hello world
hello world
hello world
hello world
hello world
a
a
a
a
a
a
a b b b 
# 将 3.txt 上传到 hdfs
hadoop fs -put 3.txt /data/input

　　文件上传之后，可以打开浏览器，通过查看日志来看效果。

# 浏览器输入 192.168.56.122:8088
# 点击对应的 application
# 点击对应的 log
# 点击查看 log 详情
# 会看到下面的日志输出

-------------------------------------------
Time: 1564279580000 ms
-------------------------------------------
(b,3)
(hello,7)
(world,7)
(a,7)

　　以上就是 Streaming hdfs count 的案例，一开始调试的时候没有通过是没有看清楚，是先把数据文件上传到 hdfs 里面了，导致后面统计不出来，后来发现是启动之后监控的，因此，需要先启动，在向里面放数据。查看日志的时候，发现 INFO 也打印出来了，如果不需要看 INFO 信息，可以在 hadoop 配置文件中 log4j.properties 中把日志级别调高，或者去掉 INFO，即可。