详解NLP技术中的:预训练模型图神经网络模型压缩知识图谱
Posted 深度学习与NLP
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了详解NLP技术中的:预训练模型图神经网络模型压缩知识图谱相关的知识,希望对你有一定的参考价值。
NLP近几年非常火,且发展特别快。像BERT、GPT-3、图神经网络、知识图谱等技术应运而生。
我们正处在信息爆炸的时代、面对每天铺天盖地的网络资源和论文、很多时候我们面临的问题并不是缺资源,而是找准资源并高效学习。但很多时候你会发现,花费大量的时间在零零散散的内容上,但最后发现效率极低,浪费了很多宝贵的时间。为了迎合大家学习的需求,我们这次重磅推出了《自然语言处理终身升级版》。
课程覆盖了从经典的机器学习、文本处理技术、序列模型、深度学习、预训练模型、知识图谱、图神经网络所有必要的技术。
重点:课程会不断更新,比如一篇新的有趣的论文出现在arxiv,我们会在1个月之内提供技术的讲解和实战。我相信这个课程将是你在NLP领域中的终身伴侣。
第一章:自然语言处理概述
自然语言处理的现状与前景
自然语言处理应用
自然语言处理经典任务
时间复杂度、空间复杂度
动态规划
贪心算法
各种排序算法
逻辑回归
最大似然估计
优化与梯度下降法
随机梯度下降法
理解过拟合、防止过拟合
L1与L2正则
交叉验证
正则与MAP估计
各类分词算法
词的标准化
拼写纠错、停用词
独热编码表示
tf-idf与相似度
分布式表示与词向量
词向量可视化与评估
独热编码的优缺点
分布式表示的优点
静态词向量与动态词向量
SkipGram与CBOW
SkipGram详解
Negative Sampling
语言模型的作用
马尔科夫假设
UniGram, BiGram, NGram模型
语言模型的评估
语言模型的平滑技术
HMM的应用
HMM的Inference
维特比算法
前向、后向算法
HMM的参数估计详解
有向图与无向图
生成模型与判别模型
从HMM与MEMM
MEMM中的标签偏置
Log-Linear模型介绍
从Log-Linear到LinearCRF
LinearCRF的参数估计
理解神经网络
各种常见的激活函数
反向传播算法
浅层模型与深度模型对比
深度学习中的层次表示
深度学习中的过拟合
从HMM到RNN模型
RNN中的梯度问题
梯度消失与LSTM
LSTM到GRU
双向LSTM
双向深度LSTM
Seq2Seq模型
Greedy Decoding
Beam Search
长依赖所存在的问题
注意力机制的实现
基于上下文的词向量技术
图像识别中的层次表示
文本领域中的层次表示
ELMo模型
ELMo的预训练与测试
ELMo的优缺点
LSTM模型的缺点
Transformer概述
理解自注意力机制
位置信息的编码
理解Encoder和Decoder区别
理解Transformer的训练与预测
Transformer的缺点
自编码介绍
Transformer Encoder
Masked语言模型
BERT模型
BERT的不同训练方式
ALBERT
RoBERTa模型
SpanBERT模型
FinBERT模型
引入先验知识
K-BERT
KG-BERT
Transformer Encoder回顾
GPT-1, GPT-2, GPT-3
ELMo的缺点
语言模型下同时考虑上下文
Permutation LM
双流自注意力机制
信息抽取的应用和关键技术
命名实体识别
NER识别常用技术
实体统一技术
实体消歧技术
指代消解
关系抽取的应用
基于规则的方法
基于监督学习的方法
Bootstrap方法
Distant Supervision方法
句法分析的应用
CFG介绍
从CFG到PCFG
评估语法树
寻找最好的语法树
CKY算法
从语法分析到依存文法分析
依存文法分析的应用
基于图算法的依存文法分析
基于Transition-based的依存文法分析
依存文法的应用案例
知识图谱的重要性
知识图谱中的实体与关系
非结构化数据与构造知识图谱
知识图谱设计
图算法的应用
模型压缩重要性
常见的模型压缩总览
基于矩阵分解的压缩技术
基于蒸馏的压缩技术
基于贝叶斯模型的压缩技术
模型的量化
图的表示
图与知识图谱
关于图的常见算法
Deepwalk和Node2vec
TransE图嵌入算法
DSNE图嵌入算法
卷积神经网络回顾
在图中设计卷积操作
图中的信息传递
图卷积神经网络
图卷积神经网络的经典应用
从GCN到GraphSAge
注意力机制回归
GAT模型详解
GAT与GCN比较
对于异构数据的处理
Node Classification
Graph Classification
Link Prediction
社区挖掘
推荐系统
图神经网络的未来发展
以上是关于详解NLP技术中的:预训练模型图神经网络模型压缩知识图谱的主要内容,如果未能解决你的问题,请参考以下文章
NLP预训练技术发展史从Word Embedding到Bert模型