Kaldi的交叉熵正则化

Posted 2020-10-06 JarvanWang

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Kaldi的交叉熵正则化相关的知识，希望对你有一定的参考价值。

xent_regularize, Cross Entropy Regularize

nnet3/nnet-discriminative-trainning.cc:109

void NnetDiscriminativeTrainer::ProcessOutputs()

交叉熵正则化，即帧平滑

《解读深度学习：语音识别实践》8.2.3 帧平滑

当正确地进行词图补偿后，进行几次序列鉴别性训练的迭代后，就会很快出现过拟合。即，几次鉴别性训练迭代后，模型计算出的帧准确率（帧的后验概率）显著变差（比原模型）。这要归咎与帧序列比帧的维度高，那么，训练时估计出的后验概率是处于帧序列的层次，而解码时估计出的后验概率是处于帧的层次，

以上是关于Kaldi的交叉熵正则化的主要内容，如果未能解决你的问题，请参考以下文章