spark实现wordcount
Posted timlong
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark实现wordcount相关的知识，希望对你有一定的参考价值。
spark-shell --master yarn
sc:
val lineRDD=sc.textFile("/test/input/test")
lineRDD.collect().foreach(println)
val wordRDD = lineRDD
wordRDD.collect().foreach(println)
val wordcountRDD = wordRDD.map(x=>(x,1))
wordcountRDD.collect().foreach(println)
val resultRDD = wordcountRDD.reduceByKey((x,y)=>x+y)
resultRDD.collect().foreach(println)
val orderedRDD = resultRDD.sortByKey()
orderedRDD.collect().foreach(println)
以上是关于spark实现wordcount的主要内容，如果未能解决你的问题，请参考以下文章
怎样利用Spark Streaming和Hadoop实现近实时的会话连接