PyTorch数据集/数据加载程序批处理

Question

对于在时间序列数据上实现PyTorch数据管道的“最佳实践”，我有点困惑。

我有一个HD5文件，我使用自定义DataLoader读取。似乎我应该返回数据样本作为一个（特征，目标）元组，每个元组的形状是（L，C），其中L是seq_len，C是通道数-即不要在数据加载器中预制批处理，只需返回一个表。

PyTorch模块似乎需要一个批处理暗淡，即。Conv1D期望（N，C，L）。

我的印象是，DataLoader类将预先处理批处理维度，但事实并非如此，我正在处理数据（N，L）。

dataset = HD5Dataset(args.dataset)

dataloader = DataLoader(dataset,
                        batch_size=N,
                        shuffle=True,
                        pin_memory=is_cuda,
                        num_workers=num_workers)

for i, (x, y) in enumerate(train_dataloader):
    ...

在上面的代码中，x的形状是（N，C）而不是（1，N，C），这导致下面的代码（来自公共git回购）在第一行失败。

def forward(self, x):
    """expected input shape is (N, L, C)"""
    x = x.transpose(1, 2).contiguous() # input should have dimension (N, C, L)

留档状态自动批处理启用时它总是预先添加一个新的维度作为批处理维度，这让我相信自动批处理被禁用，但我不明白为什么？

Answer 1

我发现了一些似乎有效的方法，其中一种方法似乎是使用数据加载器的collate\fn，但更简单的方法是使用BatchSampler。

dataset = HD5Dataset(args.dataset)
train, test = train_test_split(list(range(len(dataset))), test_size=.1)

train_dataloader = DataLoader(dataset,
                        pin_memory=is_cuda,
                        num_workers=num_workers,
                        sampler=BatchSampler(SequentialSampler(train),batch_size=len(train), drop_last=True)
                        )

test_dataloader = DataLoader(dataset,
                        pin_memory=is_cuda,
                        num_workers=num_workers,
                        sampler=BatchSampler(SequentialSampler(test),batch_size=len(test), drop_last=True)
                        )

for i, (x, y) in enumerate(train_dataloader):
    print (x,y)

这将数据集dim（L，C）转换为单个批次（1，L，C）（不是特别有效）。

Answer 2

如果您有一个张量对的数据集，其中每个张量对的形状都是C，L，那么：

N, C, L = 5, 3, 10
dataset = [(torch.randn(C,L), torch.ones(1)) for i in range(50)]
dataloader = data_utils.DataLoader(dataset, batch_size=N)

for i, (x,y) in enumerate(dataloader):
    print(x.shape)

将为x生产（50/N）=10批形状（N，C，L）：

torch.Size([5, 3, 10])
torch.Size([5, 3, 10])
torch.Size([5, 3, 10])
torch.Size([5, 3, 10])
torch.Size([5, 3, 10])
torch.Size([5, 3, 10])
torch.Size([5, 3, 10])
torch.Size([5, 3, 10])
torch.Size([5, 3, 10])
torch.Size([5, 3, 10])