在 python 中使用带有 LinearSVC 的特征选择

Posted 2023-03-12

【中文标题】在 python 中使用带有 LinearSVC 的特征选择

【英文标题】：Using feature selection with LinearSVC in python

【发布时间】：2018-01-21 19:55:37

【问题描述】：

我的任务是为产品标题创建一个多类分类器，将它们分为 11 个类别。我正在使用 scikit 的 LinearSVC 进行分类。我首先通过删除停用词、使用 POS 标签进行词形还原以及使用带有 TFIDF 矢量化器的二元组来预处理产品标题。

我现在想使用chi2 的特征选择方法从这些特征中剔除不重要的特征，然后进行训练。但是我如何在我的模型中使用chi2。下面是代码：

def identity(arg):
    """
    Simple identity function works as a passthrough.
    """
    return arg

class NLTKPreprocessor(BaseEstimator, TransformerMixin):
    def __init__(self, stopwords=None, punct=None,
                 lower=True, strip=True):

        self.lower      = lower
        self.strip      = strip
        self.stopwords  = stopwords or set(sw.words('english'))
        self.punct      = punct or set(string.punctuation)
        self.lemmatizer = WordNetLemmatizer()

    def fit(self, X, y=None):
        return self

    def inverse_transform(self, X):
        return [" ".join(doc) for doc in X]

    def transform(self, X):
        return [
            list(self.tokenize(doc)) for doc in X
        ]

    def tokenize(self, document):

        # Break the document into sentences
        for sent in sent_tokenize(document):
            # Break the sentence into part of speech tagged tokens
            for token, tag in pos_tag(wordpunct_tokenize(sent)):
                # Apply preprocessing to the token
                token = token.lower() if self.lower else token
                token = token.strip() if self.strip else token
                token = token.strip('_') if self.strip else token
                token = token.strip('*') if self.strip else token

                # If stopword, ignore token and continue
                if token in self.stopwords or token.isdigit() == True:
                    continue

                # If punctuation, ignore token and continue
                if all(char in self.punct for char in token):
                    continue


                # Lemmatize the token and yield
                lemma = self.lemmatize(token, tag)


                yield lemma

    def lemmatize(self, token, tag):
        tag = 
            'N': wn.NOUN,
            'V': wn.VERB,
            'R': wn.ADV,
            'J': wn.ADJ
        .get(tag[0], wn.NOUN)

        return self.lemmatizer.lemmatize(token, tag)

def build_and_evaluate(X, y,
    classifier=LinearSVC, outpath=None, verbose=True):

    def build(classifier, X, y=None):

        if isinstance(classifier, type):
            classifier = classifier()

        model = Pipeline([
            ('preprocessor', NLTKPreprocessor()),
            ('vectorizer', TfidfVectorizer(
                tokenizer=identity, preprocessor=None, ngram_range = (1,2), min_df = 4, lowercase=False
            )),
            ('classifier', classifier),
        ])

        model.fit(X, y)
        return model

    labels = LabelEncoder()
    y = labels.fit_transform(y)

    X_train, X_test, y_train, y_test = tts(X, y, test_size=0.2)
    model = build(classifier, X_train, y_train)

    y_pred = model.predict(X_test)
    print(clsr(y_test, y_pred, target_names=labels.classes_))

    return model


if __name__ == '__main__':
    df = pd.read_csv('file.txt', sep='\t', quoting=csv.QUOTE_NONE, usecols=[6, 12], skiprows=[0],
                           names=["category", "product_title"])


    freq = df['category'].value_counts()[:10].to_dict()
    new_categories = []
    for i, category in enumerate(df['category']):
        if category in freq.keys():
            new_categories.append(category)
        else:
            new_categories.append('Other')

    df['new_categories'] = new_categories

    X = df['product_title'].tolist()
    X = [i.replace('"', '') for i in X]
    newlist=[]
    for i in X:
        i = i.decode('utf8')
        newlist.append(i)

    y = df['new_categories'].tolist()

    model = build_and_evaluate(newlist,y)

谁能帮助我了解如何在上面的代码中使用chi2？谢谢！

【问题讨论】：

使用 SelectKBest 选择***功能。有关详细信息，请参阅user guide。

@VivekKumar 好的，我想知道如何在管道中使用它。

【参考方案1】：

以与 NLTKPreprocessor 相同的方式声明它，但在管道内的分类器上方。

如下声明你的管道：

model = Pipeline([
        ('preprocessor', NLTKPreprocessor()),
        ('vectorizer', TfidfVectorizer(
            tokenizer=identity, preprocessor=None, ngram_range = (1,2), min_df = 4, lowercase=False
        )),
        ('selector', SelectKBest(chi2, k=10)),
        ('classifier', classifier),
    ])

使用参数k 进行实验以设置不同数量的选定特征。我在这里使用了 10 个，但您需要对其进行调整。也许使用GridSearchCV。

【讨论】：

好的，谢谢。我可以为我的用例尝试任何其他功能选择方法吗？

@akrama81 看到这个user guide page