python之NLP数据清洗

Posted 2022-01-07 ywjfx

1、知识点

"""
安装模块：bs4 nltk gensim
nltk:处理英文
    1、安装
    2、nltk.download() 下载相应的模块

英文数据处理：
    1、去掉html标签  example = BeautifulSoup(df[‘review‘][1000],‘html.parser‘).get_text()
    2、移除标点      example_letter = re.sub(r‘[^a-zA-Z]‘,‘ ‘,example)
    3、切分成词/token      words = example_letter.lower().split()
    4、去掉停用词  例如：the  a  an  it‘s
                stopwords = .fromkeys([line.rstrip() for line in open(‘./stopwords.txt‘)])
                words_nostop = [w for w in words if w not in stopwords]
    5、重组为新的句子

词向量解决方案：
    1、one-hot编码
        缺点：这种方案浪费存储空间还是次要的，更重要的是词与词（向量与向量）之间没有相关性，计算机完全无法进行哪怕一丁点的理解和处理
    2、基于奇异值分解（SVD）的方法
        步骤：a)第一步是通过大量已有文档统计形成词空间矩阵X，有两种办法。
                一种是统计出某篇文档中各个词出现的次数，假设词的数目是W、文档篇数是M，则此时X的维度是W*M；
                第二种方法是针对某个特定词，统计其前后文中其它词的出现频次，从而形成W*W的X矩阵。
              b)第二步是针对X矩阵进行SVD分解，得到特征值，根据需要截取前k个特征值及对应的前k个特征向量，
                那么前k个特征向量构成的矩阵维度是W*k，这就构成了所有W个词的k维表示向量
        缺点：
            1、需要维护一个极大的词空间稀疏矩阵X，而且随着新词的出现还会经常发生变化；
            2、SVD运算量大，而且每增减一个词或文档之后，都需要重新计算
    3、构建一个word2vec模型：通过大量文档迭代学习其中的参数及已有词的编码结果，这样每新来一篇文档都不用修改已有模型，只需要再次迭代计算参数和词向量即可
            举例：我爱python和java
            a)CBOW算法: 输入:我爱， 目标值：python和java
                   CBOW算法使用上下文窗口内词向量作为输入，将这些向量求和（或取均值）后，求得与输出词空间的相关性分布，
                   进而使用softmax函数得到在整个输出词空间上的命中概率，与目标词one-hot编码的交叉熵即为loss值，
                   通过loss针对输入和输出词向量的梯度，即可使用梯度下降（gradient descent）法得到一次针对输入和输出词向量的迭代调整。

            b)Skip-Gram算法: 输入:python和java， 目标值：我爱
                    Skip-Gram算法使用目标词向量作为输入，求得其与输出词空间的相关性分布，
                    进而使用softmax函数得到在整个输出词空间上的命中概率，与one-hot编码的上下文词逐一计算交叉熵，
                    求和后即为loss值，通过loss针对输入和输出词向量的梯度，
                    即可使用梯度下降（gradient descent）法得到一次针对输入和输出词向量的迭代调整
"""

2、中文数据清洗(使用停用词)

import os
import re
import numpy as np
import pandas as pd
from bs4 import BeautifulSoup
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import confusion_matrix
from sklearn.linear_model import LogisticRegression
import nltk
from nltk.corpus import stopwords
import  jieba
def clean_chineses_text(text):
    """
    中文数据清洗  stopwords_chineses.txt存放在博客园文件中
    :param text:
    :return:
    """
    text = BeautifulSoup(text, ‘html.parser‘).get_text() #去掉html标签
    text =jieba.lcut(text);
    stopwords = .fromkeys([line.rstrip() for line in open(‘./stopwords_chineses.txt‘)]) #加载停用词(中文)
    eng_stopwords = set(stopwords) #去掉重复的词
    words = [w for w in text if w not in eng_stopwords] #去除文本中的停用词
    return ‘ ‘.join(words)

3、英文数据清洗(使用停用词)

import os
import re
import numpy as np
import pandas as pd
from bs4 import BeautifulSoup
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import confusion_matrix
from sklearn.linear_model import LogisticRegression
import nltk
from nltk.corpus import stopwords
import  jieba
def clean_english_text(text):
    """
    英文数据清洗  stopwords_english.txt存放在博客园文件中
    :param text:
    :return:
    """
    text = BeautifulSoup(text, ‘html.parser‘).get_text() #去掉html标签
    text = re.sub(r‘[^a-zA-Z]‘, ‘ ‘, text)  #只保留英文字母
    words = text.lower().split()  #全部小写
    stopwords = .fromkeys([line.rstrip() for line in open(‘./stopwords_english.txt‘)]) #加载停用词(中文)
    eng_stopwords = set(stopwords) #去掉重复的词
    words = [w for w in words if w not in eng_stopwords] #去除文本中的停用词
    print(words)
    return ‘ ‘.join(words)

if __name__ == ‘__main__‘:
    text = "ni hao ma ,hello ! my name is haha‘. ,<br/> "
    a = clean_english_text(text)
    print(a)

    test1 = "你在干嘛啊，怎么不回复我消息!,对了“你妈在找你”。"
    b = clean_chineses_text(test1)
    print(b)

 4、nltk的停用词进行数据清洗

def clean_english_text_from_nltk(text):
    """
    使用nltk的停用词对英文数据进行清洗
    :param text: 
    :return: 
    """
    text = BeautifulSoup(text,‘html.parser‘).get_text() #去掉html标签
    text = re.sub(r‘[^a-zA-Z]‘,‘ ‘,text) #除去标点符号
    words = text.lower().split() #转为小写并切分
    stopwords = nltk.corpus.stopwords.words(‘english‘) #使用nltk的停用词
    wordList =[word for word in words if word not in stopwords]
    return ‘ ‘.join(wordList)