大数据之单词统计
Posted 潇洒哥浩浩
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据之单词统计相关的知识，希望对你有一定的参考价值。
package com.sjw.flink
import org.apache.flink.api.scala._
object WordCount {
def main(args: Array[String]): Unit = {
//创建批处理执行环境
val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
//数据源 文件读取
val dataDS: DataSet[String] = env.readTextFile("src\main\resources\words.txt")
//对DS处理
dataDS.flatMap(_.split(" ")).map((_,1)).groupBy(0).sum(1).print()
}
}
以上是关于大数据之单词统计的主要内容，如果未能解决你的问题，请参考以下文章