5.RDD操作综合实例
Posted 贴贴贴贴
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了5.RDD操作综合实例相关的知识,希望对你有一定的参考价值。
一、词频统计 A. 分步骤实现 1、准备文件 (1)下载小说或长篇新闻稿 (2)上传到hdfs上 2、读文件创建RDD 3、分词 4、排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap(), 停用词,可网盘下载stopwords.txt,filt
以上是关于5.RDD操作综合实例的主要内容,如果未能解决你的问题,请参考以下文章