（2020.6.26）GNN预训练

Posted 2020-12-13 sqlkrad

今天读到一篇KDD2020的论文，感觉很有启发，BERT的预训练在NLP领域已经很成功了，但在图嵌入领域还没有成功的预训练，这篇文章就解决了这个问题。

GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training
代码：https://github.com/THUDM/GCC
从这篇文章的结果来看，预训练确实给模型的鲁棒性带来了很大的提升，应该可以作为以后图嵌入任务的强基线模型了。

文中使用的GNN模型是GIN，对应这篇论文：HOW POWERFUL ARE GRAPH NEURAL NETWORKS?
虽然有些实验结果GIN效果更好，但是文中说GIN是在不同的超参数下获得的更好的效果，对于统一的超参数GCC更稳定。

如果说存在的问题的话，就是不确定什么时候应该选择哪种策略，因为光从实验结果来看，freeze和full、E2E和MoCo都有各自SOTA的结果。另一方面，GCC无法表示节点属性，且无法表示关系类型。应该算是以后的改进点。