文本分类方法都有哪些

Posted 2023-03-18

参考技术A

文本分类问题： 给定文档p（可能含有标题t），将文档分类为n个类别中的一个或多个
文本分类应用： 常见的有垃圾邮件识别，情感分析
文本分类方向： 主要有二分类，多分类，多标签分类
文本分类方法： 传统机器学习方法（贝叶斯，svm等），深度学习方法（fastText，TextCNN等）
本文的思路： 本文主要介绍文本分类的处理过程，主要哪些方法。致力让读者明白在处理文本分类问题时应该从什么方向入手，重点关注什么问题，对于不同的场景应该采用什么方法。
文本分类的处理大致分为 文本预处理 、文本 特征提取 、 分类模型构建 等。和英文文本处理分类相比，中文文本的预处理是关键技术。

针对中文文本分类时，很关键的一个技术就是中文分词。特征粒度为词粒度远远好于字粒度，其大部分分类算法不考虑词序信息，基于字粒度的损失了过多的n-gram信息。下面简单总结一下中文分词技术:基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法 [1]。

1，基于字符串匹配的分词方法：
过程：这是 一种基于词典的中文分词 ，核心是首先建立统一的词典表，当需要对一个句子进行分词时，首先将句子拆分成多个部分，将每一个部分与字典一一对应，如果该词语在词典中，分词成功，否则继续拆分匹配直到成功。
核心： 字典，切分规则和匹配顺序是核心。
分析：优点是速度快，时间复杂度可以保持在O（n）,实现简单，效果尚可；但对歧义和未登录词处理效果不佳。

2， 基于理解的分词方法：基于理解的分词方法是通过让计算机模拟人对句子的理解 ，达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。由于汉语语言知识的笼统、复杂性，难以将各种语言信息组织成机器可直接读取的形式，因此目前基于理解的分词系统 还处在试验阶段 。

3，基于统计的分词方法:
过程：统计学认为分词是一个 概率最大化问题 ，即拆分句子，基于语料库，统计 相邻的字组成的词语出现的概率 ，相邻的词出现的次数多，就出现的概率大， 按照概率值进行分词 ，所以一个完整的语料库很重要。
主要的统计模型有： N元文法模型（N-gram），隐马尔可夫模型（Hidden Markov Model ，HMM），最大熵模型（ME），条件随机场模型（Conditional Random Fields，CRF）等。

1， 分词 ： 中文任务分词必不可少，一般使用jieba分词，工业界的翘楚。
2， 去停用词：建立停用词字典 ，目前停用词字典有2000个左右，停用词主要包括一些副词、形容词及其一些连接词。通过维护一个停用词表，实际上是一个特征提取的过程，本质 上是特征选择的一部分。
3， 词性标注 ： 在分词后判断词性（动词、名词、形容词、副词…），在使用jieba分词的时候设置参数就能获取。

文本分类的核心都是如何从文本中抽取出能够体现文本特点的关键特征，抓取特征到类别之间的映射。 所以特征工程很重要，可以由四部分组成：

1，基于词袋模型的特征表示：以词为单位（Unigram）构建的词袋可能就达到几万维，如果考虑二元词组（Bigram）、三元词组（Trigram）的话词袋大小可能会有几十万之多，因此基于词袋模型的特征表示通常是极其稀疏的。

（1）词袋特征的方法有三种：

（2）优缺点：

2，基于embedding的特征表示： 通过词向量计算文本的特征。（主要针对短文本）

4，基于任务本身抽取的特征：主要是针对具体任务而设计的，通过我们对数据的观察和感知，也许能够发现一些可能有用的特征。有时候，这些手工特征对最后的分类效果提升很大。举个例子，比如对于正负面评论分类任务，对于负面评论，包含负面词的数量就是一维很强的特征。

5，特征融合：对于特征维数较高、数据模式复杂的情况，建议用非线性模型（如比较流行的GDBT, XGBoost）；对于特征维数较低、数据模式简单的情况，建议用简单的线性模型即可（如LR）。

6，主题特征：
LDA（文档的话题）： 可以假设文档集有T个话题，一篇文档可能属于一个或多个话题，通过LDA模型可以计算出文档属于某个话题的概率，这样可以计算出一个DxT的矩阵。LDA特征在文档打标签等任务上表现很好。
LSI（文档的潜在语义）： 通过分解文档-词频矩阵来计算文档的潜在语义，和LDA有一点相似，都是文档的潜在特征。

这部分不是重点，传统机器学习算法中能用来分类的模型都可以用，常见的有：NB模型，随机森林模型（RF），SVM分类模型，KNN分类模型，神经网络分类模型。
这里重点提一下贝叶斯模型，因为工业用这个模型用来识别垃圾邮件[2]。

1，fastText模型： fastText 是word2vec 作者 Mikolov 转战 Facebook 后16年7月刚发表的一篇论文： Bag of Tricks for Efficient Text Classification [3]。

模型结构：

改进：注意力（Attention）机制是自然语言处理领域一个常用的建模长时间记忆机制，能够很直观的给出每个词对结果的贡献，基本成了Seq2Seq模型的标配了。实际上文本分类从某种意义上也可以理解为一种特殊的Seq2Seq，所以考虑把Attention机制引入近来。

过程：
利用前向和后向RNN得到每个词的前向和后向上下文的表示：

词的表示变成词向量和前向后向上下文向量连接起来的形式：

模型显然并不是最重要的： 好的模型设计对拿到好结果的至关重要，也更是学术关注热点。但实际使用中，模型的工作量占的时间其实相对比较少。虽然再第二部分介绍了5种CNN/RNN及其变体的模型，实际中文本分类任务单纯用CNN已经足以取得很不错的结果了，我们的实验测试RCNN对准确率提升大约1%，并不是十分的显著。最佳实践是先用TextCNN模型把整体任务效果调试到最好，再尝试改进模型。

理解你的数据： 虽然应用深度学习有一个很大的优势是不再需要繁琐低效的人工特征工程，然而如果你只是把他当做一个黑盒，难免会经常怀疑人生。一定要理解你的数据，记住无论传统方法还是深度学习方法，数据 sense 始终非常重要。要重视 badcase 分析，明白你的数据是否适合，为什么对为什么错。

超参调节： 可以参考 深度学习网络调参技巧 - 知乎专栏

一定要用 dropout： 有两种情况可以不用：数据量特别小，或者你用了更好的正则方法，比如bn。实际中我们尝试了不同参数的dropout，最好的还是0.5，所以如果你的计算资源很有限，默认0.5是一个很好的选择。

未必一定要 softmax loss： 这取决与你的数据，如果你的任务是多个类别间非互斥，可以试试着训练多个二分类器，也就是把问题定义为multi lable 而非 multi class，我们调整后准确率还是增加了>1%。

类目不均衡问题： 基本是一个在很多场景都验证过的结论：如果你的loss被一部分类别dominate，对总体而言大多是负向的。建议可以尝试类似 booststrap 方法调整 loss 中样本权重方式解决。

避免训练震荡： 默认一定要增加随机采样因素尽可能使得数据分布iid，默认shuffle机制能使得训练结果更稳定。如果训练模型仍然很震荡，可以考虑调整学习率或 mini_batch_size。

知乎的文本多标签分类比赛，给出第一第二名的介绍网址：
NLP大赛冠军总结：300万知乎多标签文本分类任务(附深度学习源码)
2017知乎看山杯 从入门到第二

常见的场景分类算法都有哪些

参考技术A 【嵌牛导读】：本文主要介绍一些常见的基于深度学习的场景分类

【嵌牛鼻子】：深度学习，场景分类

【嵌牛提问】：基于深度学习的常见分类算法有哪些？

【嵌牛正文】：

目前出现的相对流行的场景分类方法主要有以下三类：

这种分类方法以对象为识别单位，根据场景中出现的特定对象来区分不同的场景；

基于视觉的场景分类方法大部分都是以对象为单位的，也就是说，通过识别一些有
代表性的对象来确定自然界的位置。典型的基于对象的场景分类方法有以下的中间步骤：
特征提取、重组和对象识别。

缺点：底层的错误会随着处理的深入而被放大。例如，上位层中小对象的识别往往会受到下属层
相机传感器的原始噪声或者光照变化条件的影响。尤其是在宽敞的环境下，目标往往会非常分散，
这种方法的应用也受到了限制。需要指出的是，该方法需要选择特定环境中的一些固定对
象，一般使用深度网络提取对象特征，并进行分类。

除了传统的卷积层、pooling层、全连接层。AlexNet加入了
（1）非线性激活函数：ReLU；
（2）防止过拟合的方法：Dropout，Dataaugmentation。同时，使用多个GPU，LRN归一化层。

不同于AlexNet的地方是：VGG-Net使用更多的层，通常有16－19层，而AlexNet只有8层。
同时，VGG-Net的所有 convolutional layer 使用同样大小的 convolutional filter，大小为 3 x 3。

提出的Inception结构是主要的创新点，这是（Network In Network）的结构，即原来的结点也是一个网络。
在单层卷积层上使用不同尺度的卷积核就可以提取不同尺寸的特征，单层的特征提取能力增强了。其使用之后整个网络结构的宽度和深度都可扩大，能够带来2-3倍的性能提升。

ResNet引入了残差网络结构（residual network），通过在输出与输入之间引入一个shortcut connection,而不是简单的堆叠网络，这样可以解决网络由于很深出现梯度消失的问题，从而可可以把网络做的很深。这种方法目前也是业界最高水准了。

首先通过目标候选候选区域选择算法，生成一系列候选目标区域，
然后通过深度神经网络提取候选目标区域特征，并用这些特征进行分类。

技术路线：selective search + CNN + SVMs
算法：Fast-R-CNN
步骤：输入一幅图像和Selective Search方法生成的一系列Proposals，通过一系列卷积层
和Pooling层生成feature map,然后用RoI（region ofineterst）层处理最后一个卷积层
得到的feature map为每一个proposal生成一个定长的特征向量roi_pool5。
RoI层的输出roi_pool5接着输入到全连接层, 产生最终用于多任务学习的特征并用于
计算多任务Loss。
全连接输出包括两个分支：
1.SoftMax Loss:计算K+1类的分类Loss函数，其中K表示K个目标类别。
2.RegressionLoss:即K+1的分类结果相应的Proposal的Bounding Box四个角点坐标值。
最终将所有结果通过非极大抑制处理产生最终的目标检测和识别结果。

Faster-R-CNN算法由两大模块组成：1.PRN候选框提取模块 2.Fast R-CNN检测模块。
其中，RPN是全卷积神经网络，通过共享卷积层特征可以实现proposal的提取；
FastR-CNN基于RPN提取的proposal检测并识别proposal中的目标。

这类方法不同于前面两种算法，而将场景图像看作全局对象而非图像中的某一对象或细节，
这样可以降低局部噪声对场景分类的影响。

将输入图片作为一个特征，并提取可以概括图像统计或语义的低维特征。该类方法的目的
即为提高场景分类的鲁棒性。因为自然图片中很容易掺杂一些随机噪声，这类噪声会对
局部处理造成灾难性的影响，而对于全局图像却可以通过平均数来降低这种影响。
基于上下文的方法，通过识别全局对象，而非场景中的小对象集合或者准确的区域边界，
因此不需要处理小的孤立区域的噪声和低级图片的变化，其解决了分割和目标识别分类方法遇到的问题。

步骤：通过 Gist 特征提取场景图像的全局特征。Gist 特征是一种生物启发式特征，
该特征模拟人的视觉，形成对外部世界的一种空间表
示，捕获图像中的上下文信息。Gist 特征通过多尺度
多方向 Gabor 滤波器组对场景图像进行滤波，将滤波后
的图像划分为 4 × 4 的网格，然后各个网格采用离散傅
里叶变换和窗口傅里叶变换提取图像的全局特征信息。