批量加载一个巨大的数据集来训练pytorch

Question

我正在训练一个LSTM，以便将时间序列数据分类为2类（0和1）。我在驱动器上有巨大的数据集，其中0类和1类数据位于不同的文件夹中。我试图通过创建一个Dataset类并将DataLoader包装在它周围来批量使用LSTM。我必须做整形等预处理。这是我的密码

'

class LoadingDataset(Dataset):
  def __init__(self,data_root1,data_root2,file_name):
    self.data_root1=data_root1#Has the path for class1 data
    self.data_root2=data_root2#Has the path for class0 data
    self.fileap1= pd.DataFrame()#Stores class 1 data
    self.fileap0 = pd.DataFrame()#Stores class 0 data
    self.file_name=file_name#List of all the files at data_root1 and data_root2
    self.labs1=None #Will store the class 1 labels
    self.labs0=None #Will store the class 0 labels

  def __len__(self):
    return len(self.fileap1) 

  def __getitem__(self, index):        
    self.fileap1 = pd.read_csv(self.data_root1+self.file_name[index],header=None)#read the csv file for class 1
    self.fileap1=self.fileap1.iloc[1:,1:].values.reshape(-1,WINDOW+1,1)#reshape the file for lstm
    self.fileap0 = pd.read_csv(self.data_root2+self.file_name[index],header=None)#read the csv file for class 0
    self.fileap0=self.fileap0.iloc[1:,1:].values.reshape(-1,WINDOW+1,1)#reshape the file for lstm
    self.labs1=np.array([1]*len(self.fileap1)).reshape(-1,1)#create the labels 1 for the csv file
    self.labs0=np.array([0]*len(self.fileap0)).reshape(-1,1)#create the labels 0 for the csv file
    # print(self.fileap1.shape,' ',self.fileap0.shape)
    # print(self.labs1.shape,' ',self.labs0.shape)
    self.fileap1=np.append(self.fileap1,self.fileap0,axis=0)#combine the class 0 and class one data
    self.fileap1 = torch.from_numpy(self.fileap1).float()
    self.labs1=np.append(self.labs1,self.labs0,axis=0)#combine the label0 and label 1 data
    self.labs1 = torch.from_numpy(self.labs1).int()
    # print(self.fileap1.shape,' ',self.fileap0.shape)
    # print(self.labs1.shape,' ',self.labs0.shape)

    return self.fileap1,self.labs1

data_root1 = '/content/gdrive/My Drive/Data/Processed_Data/Folder1/One_'#location of class 1 data
data_root2 = '/content/gdrive/My Drive/Data/Processed_Data/Folder0/Zero_'#location of class 0 data
training_set=LoadingDataset(data_root1,data_root2,train_ind)#train_ind is a list of file names that have to be read from data_root1 and data_root2
training_generator = DataLoader(training_set,batch_size =2,num_workers=4)

for epoch in range(num_epochs):
  model.train()#Setting the model to train mode after eval mode to train for next epoch once the testing for that epoch is finished
  for i, (inputs, targets) in enumerate(train_loader):
    .
    .
    .
    .

`我在运行此代码时遇到此错误

RuntimeError:Traceback（最后一次调用）：文件“/usr/local/lib/python3.6/dist-packages/torch/utils/data/\u-utils/worker.py”，第99行，in-worker-loop samples=collate\u fn（[dataset[i]表示批处理索引中的i]）文件“/usr/local/lib/python3.6/dist-packages/torch/utils/data/\u-utils/data/\u-collate.py”，第68行，在default\u-collate return[default\u-collate（samples）for samples in transposed]文件/usr/local/lib/python3.6/dist-packages/torch/utils/data/\u-utils/collate.py]第68行中，在return[default\u-collate（samples）for samples in transposed]文件/usr/local/lib/python3.6/dist-packages/torch/utils/data/\u-utils/collate.py]第43行中，在默认情况下，请核对返回火炬。堆栈（批处理，0，out=out）运行时错误：参数0无效：除维度0外，张量的大小必须匹配。在/pytorch/aten/src/TH/generic/THTensor处获得尺寸为1的96596和25060。cpp:711

我的问题是1。我是否正确地实现了这一点，这就是您对数据集进行批处理和培训的方式吗？

2.DataLoader的batch_大小与LSTM的batch_大小不同，因为DataLoader的batch_大小指的是文件的数量，而LSTM模型的batch_大小指的是实例的数量，所以这里会出现另一个错误吗？

3.我不知道如何缩放此数据集，因为MinMaxScaler必须应用于整个数据集。

感谢答复。如果我必须为每个问题创建单独的帖子，请告诉我。

非常感谢。

Answer 1

以下是pytorch的工作总结：

• 您有一个数据集，它是一个具有\uuuu len\uuuu方法和\uuu getitem\uuuu方法的对象
• 您可以从该数据集创建一个数据加载器，并创建一个collate\u fn
• 迭代数据加载器，并将一批数据传递给模型

所以基本上你的训练循环会像

for x, y in dataloader:
    output = model(x)
...

或者

for x, y in dataloader:
        output = model(*x)
    ...

如果您的modelforward方法接受多个参数。

那么这是如何工作的呢？基本上，您有一个批处理索引的生成器batch_sampler，下面是您的dataloader中的循环。

for indices in batch_sampler:
    yield collate_fn([dataset[i] for i in indices])

因此，如果您希望一切正常工作，您必须查看模型的转发方法，并查看它需要多少参数（根据我的经验，LSTM的转发方法可以有多个参数），并确保您使用collate_fn正确地传递这些。