[人工智能]05-pytorch中Tensor的存储

1. Storage

Storage概述

• $tensor$ 分为头信息区$(Tensor)$和存储区$(Storage)$。
• 信息区$(Tensor)$主要保存着 $tensor$ 的形状$(size)$、步长$(stride)$、数据类型$(type)$等信息，而真正的数据则保存成连续数组，存储在存储区$(Storage)$。
• 因为数据动辄成千上万，因此信息区元素占用内存较少，主要内存占用取决于 $tensor$ 中元素的数目，即存储区的大小。
• 不同的 $tensor$ 的头信息一般不同，但是可能使用相同的 $storage$。
  

操作Storage

1. 查看$Storage$

import torch
t = torch.tensor([[1,2,3],[4,5,6],[7,8,9]])
t.storage()

2. 索引$Storage$

import torch
t = torch.tensor([[1,2,3],[4,5,6],[7,8,9]])
t.storage()[1]

3. 更改$Storage$

import torch
t = torch.tensor([[1,2,3],[4,5,6],[7,8,9]])
t.storage()[1]=10
t.storage()

2. offset

$storage\_offset：$$tensor$ 的第一个元素在 $storage$ 中的索引。

import torch

x = torch.tensor([1, 2, 3, 4, 5])
x.storage_offset()
x[3:].storage_offset()

3. stride

• $stride$ 是 $storage$ 中对应于 $tensor$ 的相邻维度间第一个索引的跨度，也叫步长。
• 当我们根据下标索引查找 $tensor$ 中的任意元素时，将某维度的下标索引和对应的步长相乘，然后将所有维度乘积相加就可以了。根据 $tenser$ 中的索引 $i,j$ 查找 $storage$ 中对应索引的公式是$storage\_offset+stride[0]?i+stride[1]?j$，因为是从 $storage$ 的开头查找，所以 $storage\_offset=0$。
  
  示例：上图是一个 $storage$，与它对应的 $tensor([[1.0,2.0,3.0],[4.0,5.0,6.0]])$ 如下图所示：
  
  那么 $tensor$ 的 $stride=(3,1)$，因为从第一行的第一个索引到第二行第一个索引跨度是 $3$，从第一列到第二列的跨度是 $1$。

import torch
t = torch.tensor([[[1,3,5],[2,4,6]],
                 [[1,3,5],[2,4,6]]])
t.stride()