读扣随感

Posted 2020-10-01 demsg

最近读code的一个感想，记录一下

 

ptb只有decode的过程，所以所有的状态的初始化都是0，同样img2txt也是只有decode的过程

textsum是个标准的encode和decode模型，同样imgtxt2txt也是encode和decode的结合

 

dynamic rnn的可以使每个batch都pad到本batch最大的time length就行了。之所有tensorflow的seq2seq用的bucket，是因为bucket出现在dynamic之前？即时有dynamic加入bucket也会提升效率（在计算loss的时候）？bucket随机性没有dynamic好吧。不过我在做文本处理的时候，在用tfrecord产出最后结果的时候（sparse_to_dense），已经保证pad到batch了。只不过要传入dynamic函数一个length数组。另外做序列问题的时候，最后pad结尾符号的时候也很讲究，要动态的pad

 

话说tensorflow里cell的两个返回值ouput,state，这个state是个tuple，包含了隐层和状态，我说怎么传入一个最后一个state到decode就行了呢，详情参见：http://www.cnblogs.com/rocketfan/p/6257137.html