pytorch Dataloader-如果输入数据返回多个训练实例

Question

我有以下问题：

我想使用pytorchs DataLoader（类似于这里），但我的设置有所不同：

在我的datafolder中，我有不同街道状况的图像（称为image\u total），我想使用裁剪后的图像（称为image\u crop\u[idx]在离摄像机足够近的人周围。因此，有些图像可能会给我一张或多张裁剪过的图像，而另一些图像会给我零张图像，因为它们没有显示任何人或它们离我很远。

由于我有很多图像，我希望使实现尽可能高效。

我希望可以使用这样的东西：

我想加载image_total并检查其中是否有有用的作物。如果是这样，我提取裁剪的图像，并得到一个列表，如[image_crop_0，image_crop_1，image_crop_2，...]

现在我的问题是：这是否可能与pytorchs DataLoader兼容？我看到的问题是，我的类的``getitem```方法将对任意实例返回零。我想使用恒定的批量进行培训。

• 也许DataLoader支持这一点（我没有找到它）
• 我必须使用缓冲区或类似的东西
• 回退方法是预处理数据，但这不是最有效的解决方案

Answer 1

回退方法是预处理数据，但这不是最有效的解决方案

事实上，这可能是最简单、最有效的解决方案。您的数据集当前具有动态大小，这与DataLoader不兼容，DataLoader应输出固定大小的内容以供培训。

另一种解决方案可能是预处理pytorch数据集中的数据\uuuu init\uuuu，以创建所有人员及其对应图像的列表：

[（“img1”，p1），（“img1”，p2），…，（“imgn”，pk）]

其中，pi是图像中的人物边界框。然后，在\uuu getitem\uuu方法中，您可以读取图像并裁剪相应的人物：

class PersonDataset(Dataset):
  
  def __init__(self):
    self.images = ["img1", "img2", ..., "image"]
    self.persons = [("img1", p1), ("img1", p2), ..., ("imgn", pk)]

  def __getitem__(self, index):
    img, box = self.persons[index]
    img = rad_image(img)
    return crop(img, box)

  def __len__(self):
    return len(self.persons)

这不是最有效的方法，因为它可能会导致图像被多次读取，但如果使用DataLoader使用多个worker，则这不应成为瓶颈。

您必须实现如何创建self。人员。基本上，您必须读取所有注释文件并提取图像的人员列表边界框。