在PyTorch的数据加载器中使用带pickle数据的生成器

Question

我以前做过一些预处理和特征选择，我有一个pickle训练输入数据，由列表列表组成，例如（但pickle）

[[1,5,45,13], [23,256,4,2], [1,12,88,78], [-1]]
[[12,45,77,325], [23,257,5,28], [3,7,48,178], [12,77,89,99]]
[[13,22,78,89], [12,33,97], [-1], [-1]]

[-1]是一个填充标记，但我认为这并不重要。

因为这个文件有大量的千兆字节，所以我希望节省内存，并使用生成器逐行（逐列表）读取pickle。我已经找到了这个可能有用的答案。这方面的工作如下：

def yield_from_pickle(pfin):
    with open(pfin, 'rb') as fhin:
        while True:
            try:
                yield pickle.load(fhin)
            except EOFError:
                break

接下来，我希望在PyTorch（1.0.1）数据加载器中使用这些数据。根据我在其他答案中发现的，我必须向它提供一个数据集，您可以将其子集，但必须包含\uu len\uuu和\uu getitem\uuu。它可能是这样的：

class TextDataset(Dataset):
    def __init__(self, pfin):
        self.pfin = pfin

    def __len__(self):
        # memory-lenient way but exhaust generator?
        return sum(1 for _ in self.yield_from_pickle())

    def __getitem__(self, index):
        # ???
        pass

    def yield_from_pickle(self):
        with open(self.pfin, 'rb') as fhin:
            while True:
                try:
                    yield pickle.load(fhin)
                except EOFError:
                    break

但我根本不确定这是否可能。我如何以合理的方式实现\uuu len\uuu和\uu getitem\uuu？我不认为我用\uu len\uuuu做什么是一个好主意，因为这会耗尽发电机，我根本不知道如何在保留发电机的同时安全地实施\uuu getitem\uuuu。

有更好的办法吗？总而言之，我想构建一个数据集，它可以提供给PyTorch的Dataloader（因为它具有多处理能力），但不需要将整个文件读入内存。

Answer 1

查看我的另一个答案，了解您的选择。

简而言之，您需要将每个样本预处理到单独的文件中，或者使用不需要完全加载到内存中进行读取的数据格式。