PyTorch：nn操作
Posted -柚子皮-
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了PyTorch：nn操作相关的知识，希望对你有一定的参考价值。
LayerNorm
torch.nn.LayerNorm(normalized_shape, eps=1e-05, elementwise_affine=True, device=None, dtype=None)
示例
>>> input = torch.randn(20, 5, 10, 10)
>>> # With Learnable Parameters
>>> m = nn.LayerNorm(input.size()[1:])
>>> # Without Learnable Parameters
>>> m = nn.LayerNorm(input.size()[1:], elementwise_affine=False)
>>> # Normalize over last two dimensions 对最后2维进行LN，如一个句子的所有词的embedding
>>> m = nn.LayerNorm([10, 10])
>>> # Normalize over last dimension of size 10 对最后一维（比如embedding维度）进行LN
>>> m = nn.LayerNorm(10)
>>> # Activating the module
>>> output = m(input)from: -柚子皮-
ref:
以上是关于PyTorch：nn操作的主要内容，如果未能解决你的问题，请参考以下文章