我怎样才能获得倒排索引？

Posted 2021-05-01

我再次使用Spark。如何使用Spark获取csv文件的反向索引？我有csv文件

df.show()
+--------+--------------------+--------------------+----------+
|      id|               title|                tags|closeddate|
+--------+--------------------+--------------------+----------+
|48702270|                null|                null|      null|
|48702455|                null|                null|      null|
|48702469|                null|                null|      null|
|48704166|                null|                null|      null|
|48704172|                null|                null|      null|
|48704243|Transfer files fr...|<java><android><f...|      null|
|48704263|for each loops as...|<java><java-8><mu...|      null|

如何获得显示顶部标签的倒排索引作为示例？

答案

首先，您需要将tags列转换为数组，如下所示：

from pyspark.sql.types import *
def read_tags_raw(tags_string): 
    return tags_string.strip('>').strip('<').split('><') if tags_string else []

read_tags = udf(read_tags_raw, ArrayType(StringType()))
df_valid_tags = df.withColumn('tags', read_tags('tags'))

然后调用explode和group by tag来创建倒排索引：

df_valid_tags.select(explode('tags').alias('tag'), 'id') 
    .groupBy('tag').agg(collect_list('id').alias('ids'))

祝SO运行数据库好运;-)