在 pytorch 中通过具有线性输出层的 RNN 发送的填充批次的掩码和计算损失
Posted
技术标签:
【中文标题】在 pytorch 中通过具有线性输出层的 RNN 发送的填充批次的掩码和计算损失【英文标题】:Masking and computing loss for a padded batch sent through an RNN with a linear output layer in pytorch 【发布时间】:2020-04-05 03:26:59 【问题描述】:虽然是一个典型的用例,但我找不到一个简单而清晰的指南,说明当通过 RNN 发送时,在 pytorch 中计算填充小批量损失的规范方法是什么。
我认为规范的管道可能是:
1) pytorch RNN 需要一个填充的批量张量,形状为:(max_seq_len, batch_size, emb_size)
2) 所以我们给一个嵌入层例如这个张量:
tensor([[1, 1],
[2, 2],
[3, 9]])
9 是填充索引。批量大小为 2。嵌入层将使其具有形状(max_seq_len、batch_size、emb_size)。 batch中的sequence是降序排列的,我们可以打包。
3)我们应用pack_padded_sequence,我们应用RNN,最后我们应用pad_packed_sequence。我们此时有(max_seq_len、batch_size、hidden_size)
4) 现在我们在结果上应用线性输出层,比如说 log_softmax。所以最后我们得到了一批形状分数的张量:(max_seq_len, batch_size, linear_out_size)
我应该如何从这里计算损失,屏蔽填充部分(具有任意目标)?谢谢!
【问题讨论】:
【参考方案1】:我认为PyTocrh Chatbot Tutorial 可能对您有指导意义。
基本上,您计算有效输出值的掩码(填充无效),并使用它仅计算这些值的损失。
请参阅教程页面上的 outputVar
和 maskNLLLoss
方法。为了您的方便,我在这里复制了代码,但您确实需要在所有代码的上下文中查看它。
# Returns padded target sequence tensor, padding mask, and max target length
def outputVar(l, voc):
indexes_batch = [indexesFromSentence(voc, sentence) for sentence in l]
max_target_len = max([len(indexes) for indexes in indexes_batch])
padList = zeroPadding(indexes_batch)
mask = binaryMatrix(padList)
mask = torch.BoolTensor(mask)
padVar = torch.LongTensor(padList)
return padVar, mask, max_target_len
def maskNLLLoss(inp, target, mask):
nTotal = mask.sum()
crossEntropy = -torch.log(torch.gather(inp, 1, target.view(-1, 1)).squeeze(1))
loss = crossEntropy.masked_select(mask).mean()
loss = loss.to(device)
return loss, nTotal.item()
【讨论】:
以上是关于在 pytorch 中通过具有线性输出层的 RNN 发送的填充批次的掩码和计算损失的主要内容,如果未能解决你的问题,请参考以下文章
如何在简单的pytorch模型中重构cnn层的输出张量以供线性层使用
我们如何在 PyTorch 中将线性层的输出提供给 Conv2D?