在pyspark中编写自定义NER和POS标记器，以在管道方法中用于文本输入的特征提取

Posted 2021-04-18

我正在做一个文本分类项目，我正在使用mllib中的管道方法来链接特征提取阶段。我的数据集由英语句子组成。我有来自mllib的Tokenizer和TFIDF Vectorizer库，我可以在管道中直接使用它们。

但作为特征提取过程的一部分，我还需要提取POS标签和NER标签。 Pyspark没有它的库，我不知道如何为NER和POS标记编写自定义变换器。我是Spark和Python的新手。我使用的是Spark 1.6和Python 2.7。

答案

你可以试试这个：

class POSWordTagger(Transformer, HasInputCol, HasOutputCol):

    @keyword_only
    def __init__(self, inputCol=None, outputCol=None, stopwords=None):
        super(POSWordTagger, self).__init__()
        self.stopwords = Param(self, "stopwords", "")
        self._setDefault(stopwords=set())
        kwargs = self.__init__._input_kwargs
        self.setParams(**kwargs)


    @keyword_only
    def setParams(self, inputCol=None, outputCol=None, stopwords=None):
        kwargs = self.setParams._input_kwargs
        return self._set(**kwargs)


    def setStopwords(self, value):
        self._paramMap[self.stopwords] = value
        return self

    def getStopwords(self):
        return self.getOrDefault(self.stopwords)

    def _transform(self, dataset):

        def f(s):
        tokens = nltk.tokenize.wordpunct_tokenize(s)
        pos_tags = nltk.pos_tag(tokens)
        return pos_tags

        t = ArrayType(StringType())
        out_col = self.getOutputCol()
        in_col = dataset[self.getInputCol()]
        return dataset.withColumn(out_col, udf(f, t)(in_col))