pytorch笔记：contiguous &tensor 存储知识

Posted 2021-10-24 UQI-LIUWJ

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了pytorch笔记：contiguous &tensor 存储知识相关的知识，希望对你有一定的参考价值。

1 contiguous

contiguous直观的解释是Tensor底层一维数组元素的存储顺序与Tensor按行优先一维展开的元素顺序是否一致。

1.1 tensor的存储

Tensor多维数组底层实现是使用一块连续内存的1维数组，Tensor在元信息里保存了多维数组的形状。

在访问元素时，通过多维度索引转化成1维数组相对于数组起始位置的偏移量即可找到对应的数据。

某些Tensor操作（如transpose、permute、narrow、expand）与原Tensor是共享内存中的数据，不会改变底层数组的存储。但原来在语义上相邻、内存里也相邻的元素在执行这样的操作后，在语义上相邻，但在内存不相邻，即不连续了（is not contiguous）。

如果想要tensor继续变得连续，则需要使用contiguous方法。

如果Tensor不是连续的，则会重新开辟一块内存空间保证数据是在内存中是连续的
如果Tensor是连续的，则contiguous无操作

1.2 行优先与列优先

C/C++中使用的是行优先方式（row major），Matlab、Fortran使用的是列优先方式（column major），PyTorch中Tensor底层实现是C，也是使用行优先顺序。

比如下面这个Tensor：

>>> t = torch.arange(12).reshape(3,4)
>>> t
tensor([[ 0,  1,  2,  3],
        [ 4,  5,  6,  7],
        [ 8,  9, 10, 11]])

二维数组t长这个样子

但是数组 t 在内存中实际以一维数组形式存储（可以通过 flatten 方法查看 t 的一维展开形式）：
>>> t.flatten()
tensor([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11])

如果我们将其转置了，有：

>>>t.t()
tensor([[ 0,  4,  8],
        [ 1,  5,  9],
        [ 2,  6, 10],
        [ 3,  7, 11]])

形式上数组转置了，但是存储形式没变，还是从0~11的一维数组

1.3 pytorch判断是否连续

import torch
t = torch.arange(12).reshape(3,4)
t.is_contiguous()
#True

tt=t.t()
tt.is_contiguous()
#False

2 为什么要连续？

2.1 `torch.view`等方法操作需要连续的Tensor。

transpose、permute 操作没有修改底层一维数组，而是新建了一份Tensor元信息，并在新的元信息中重新指定 stride。

而torch.view 方法约定了不修改数组本身，只是使用新的形状查看数据。

如果我们在 transpose、permute 操作后执行 view，Pytorch 会抛出以下错误：

>>> tt=t.t()
>>> t.view(12)
tensor([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11])
>>> tt.view(12)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.

view只是用最底层数据的存储方式来进行形状切换，它看不到transpose、permute这些操作指定的stride。

所以如果tt.view()不报错的话，它的输出也不是
[ 0,  4,  8,  1,  5,  9,  2,  6, 10,  3,  7, 11]
而是
[ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11]