tensorflow 调试模块tfdbg

Posted 2020-11-06 bugfree

有时间近期学习一下。

调模型出现NAN的情况：
https://github.com/lc222/MPCNN-sentence-similarity-tensorflow
一个样例。
另外 之前在pair wise的损失函数（自己手写）时也出现过NAN。
个人感觉一个容易出现NAN的地方在于loss函数，最近在查资料的时候发现 tensorflow自带的几个交叉熵函数都有实现很多tricks，比如负数处理等等，可能这些tricks是很多情况下出现NAN的真正原因。有时间需要去看一看tensorflow 损失函数实现的tricks。