Pytorch的压缩序列/填充序列垂直填充张量，以获得张量列表

Question

我试图填充LSTM迷你批处理的张量序列，序列中的每个时间步都包含一个子张量列表（在单个时间步中表示多个特征）。

例如，序列1有3个时间步，每个时间步有2个特征。下面的一个例子是：

序列1=[[1,2]，[2,2]，[3,3]，[3,2]，[3,2]]

序列2=[[4,2]，[5,1]，[4,4]]

序列3=[[6,9]]

我运行pytorch的pad_sequence函数（这也适用于pack_sequence），如下所示：

import torch
import torch.nn.utils.rnn as rnn_utils

a = torch.tensor([[1,2],[2,2],[3,3],[3,2],[3,2]])
b = torch.tensor([[4,2],[5,1],[4,4]])
c = torch.tensor([[6,9]])
result = rnn_utils.pad_sequence([a, b, c])

我的预期产出如下：

序列1=[[1,2]，[2,2]，[3,3]，[3,2]，[3,2]]

序列2=[[4,2]，[5,1]，[4,4]，[0,0]，[0,0]]

序列3=[[6,9]，[0,0]，[0,0]，[0,0]，[0,0]]

然而，我得到的输出如下：

tensor([[[1, 2],
         [4, 2],
         [6, 9]],

        [[2, 2],
         [5, 1],
         [0, 0]],

        [[3, 3],
         [4, 4],
         [0, 0]],

        [[3, 2],
         [0, 0],
         [0, 0]],

        [[3, 2],
         [0, 0],
         [0, 0]]])

填充物似乎是垂直的，而不是我所期望的。我如何得到我需要的正确填充？

Answer 1

简单地改变

result = rnn_utils.pad_sequence([a, b, c])

到

result = rnn_utils.pad_sequence([a, b, c], batch_first=True)
seq1 = result[0]
seq2 = result[1]
seq3 = result[2]

默认情况下，batch_first为False。输出将在B x T x*如果True，或在T x B x*否则，其中

B是批量大小。它等于序列中的元素数，

T是最长序列的长度，并且

*是任意数量的尾随尺寸，包括无。

输出：

tensor([[1, 2],
        [2, 2],
        [3, 3],
        [3, 2],
        [3, 2]]) # sequence 1
tensor([[4, 2],
        [5, 1],
        [4, 4],
        [0, 0],
        [0, 0]]) # sequence 2
tensor([[6, 9],
        [0, 0],
        [0, 0],
        [0, 0],
        [0, 0]]) # sequence 3