从 spark RDD 中删除空字符串

Posted

技术标签:

【中文标题】从 spark RDD 中删除空字符串【英文标题】:remove empty strings from spark RDD 【发布时间】:2016-12-22 18:31:20 【问题描述】:

我有一个 RDD,我正在像这样对它进行标记以提供标记列表

data = sqlContext.read.load('file.csv', format='com.databricks.spark.csv', header='true', inferSchema='true')
data = data.rdd.map(lambda x: x.desc)
stopwords = set(sc.textFile('stopwords.txt').collect())

tokens = data.map( lambda document: document.strip().lower()).map( lambda document: re.split("[\s;,#]", document)).map( lambda word: [str(w) for w in word if not w in stopwords])

>>> print tokens.take(5)
[['35', 'year', 'wild', 'elephant', 'named', 'sidda', 'villagers', 'manchinabele', 'dam', 'outskirts', 'bengaluru', '', 'cared', 'wildlife', 'activists', 'suffered', 'fracture', 'developed', 'mu'], ['tamil', 'nadu', 'vivasayigal', 'sangam', 'reiterates', 'demand', 'declaring', 'tamil', 'nadu', 'drought', 'hit', 'sanction', 'compensation', 'affected', 'farmers'], ['triggers', 'rumours', 'income', 'tax', 'raids', 'quarries'], ['', 'president', 'barack', 'obama', 'ordered', 'intelligence', 'agencies', 'review', 'cyber', 'attacks', 'foreign', 'intervention', '2016', 'election', 'deliver', 'report', 'leaves', 'office', 'january', '20', '', '2017'], ['death', 'note', 'driver', '', 'bheema', 'nayak', '', 'special', 'land', 'acquisition', 'officer', '', 'alleging', 'laundered', 'mining', 'baron', 'janardhan', 'reddys', 'currency', 'commission', '']]

列表中有几个'' 项目我无法删除。我怎样才能删除它们

这不行

tokens = tokens.filter(lambda lst: filter(None, lst))

【问题讨论】:

【参考方案1】:

这应该可以工作

tokens = tokens.map(lambda lst: filter(None, lst))

filter 需要一个返回布尔值的方法。在您的情况下,您有一个返回列表的方法。

【讨论】:

以上是关于从 spark RDD 中删除空字符串的主要内容,如果未能解决你的问题,请参考以下文章

concat_ws 从 spark 数据帧的输出中删除空字符串

从列表中的元组中删除空字符串

从数组中删除空字符串或空白字符串 - Javascript

从字符串列表中删除空字符串

从数组中删除空字符串,同时保持记录没有循环?

Scala 中的 Spark SQL(v2.0) UDAF 返回空字符串