GCN与文本分类Graph Convolutional Networks for Text Classification

Posted 2022-01-19 Facico

TextGCN

Graph Convolutional Networks for Text Classification
https://github.com/yao8839836/text_gcn?utm_source=catalyzex.com
属于把GCN用在NLP上的开山之作，构造比较简单，效果也不错，不过使用的是最简单的“频域卷积网络”，所以速度比价慢

• 不知道作者有没有试过简易的多项式的GCN核或切比雪夫网络

构造图

边权

$$A_{i,j}=\{\begin{array}{rlr}PMI(i,j)& & \text{i,j都是单词，PMI(i,j)>0}\\ TF-ID{F}_{i,j}& & \text{i是文档，j是单词}\\ 1& & i=j\\ 0& & otherwise\end{array}$$

对于一个单词对(i,j)的PMI值为
$$\begin{gathered} PMI(i,j)=\log \frac{p(i,j)}{p(i)p(j)} \\ p(i,j)=\frac{len(W(i,j))}{len(W)} \\ p(i)=\frac{len(W(i))}{len(W)} \end{gathered}$$

• PMI表示两个词的语义相似度

对TF-IDF

• TF：词频
  $$\begin{gathered} t{f}_{i,j}=\frac{n_{i,j}}{{\sum }_k{n}_{k,j}} \\ {n}_{i,j}表示词i在文档j中出现次数 \\ \sum _k{n}_{k,j}是文档j中所有词出现次数之和 \\ tf表示某个文档中某次的词频 \end{gathered}$$
• IDF：反文档频率，包含word的文档数量的反比。若包含word的文档越少，IDF越大，说明词条有更好的类别区分能力
  $$\begin{gathered} id{f}_i=\log \frac{|D|}{j:t_i\in d_j} \\ |D|文档总数 \\ j:t_i\in d_j：包含t_i的文档数目，反正分母为0通常+1 \end{gathered}$$

$TF-IDF=TF\ast IDF$，值越大表示对文档越重要

GCN卷积核

$$\tilde{A}=D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$$

网络结构

• 作者构建了两层的GCN
  $$\begin{gathered} L^{(1)}=\rho (\tilde{A}X{W}_0) \\ 这里作者用的激活函数是ReLU \\ {L}^{(j+1)}=\rho (\tilde{A}{L}^{(j)}{W}_j) \end{gathered}$$

• 分类器
  $$Z=softmax(\tilde{A}ReLU(\tilde{A}X{W}_0)W_1)$$

• 损失函数
  L =

  以上是关于GCN与文本分类Graph Convolutional Networks for Text Classification的主要内容，如果未能解决你的问题，请参考以下文章

  GCN与文本分类Graph Convolutional Networks for Text Classification

  GCN与文本分类Graph Convolutional Networks for Text Classification

  GCN笔记：Graph Convolution Neural Network，ChebNet

  Graph-GCN

  GCN图卷积网络初探——基于图（Graph）的傅里叶变换和卷积

  第四周.01.GCN文本分类及RGCN模型讲解