基于torch变换的图像网络预处理

Question

我正在尝试重新创建在原始出版物“用于图像识别的深度残差学习”中所做的对ImageNet数据集的数据预处理。正如他们的论文第3.4节所说：“我们对ImageNet的实现遵循了[21,41]中的实践。图像的大小被调整，其短边在[256,480]中随机采样以进行缩放[41]。从图像或其水平翻转中随机采样224×224裁剪，减去每个像素的平均值[21]。使用了[21]中的标准颜色增强。”

我已经弄清楚了随机裁剪原始图像或裁剪尺寸为224x224的水平翻转的部分。其他两部分我没有。另外两部分是在[256,480]中对图像的短边进行随机采样以进行缩放，并使用[21]中的标准颜色增强。

对于第一个，我找不到一个“随机调整大小”功能在火炬转换。第二个，其中其参考[21]，是（根据[21])“在整个ImageNet训练集上对RGB像素值集执行PCA”。请参阅“数据增强”一节中的ImageNet深度卷积神经网络分类，以获得完整的解释。

如何重新创建这种类型的预处理？

Answer 1

第一个需要3个组合转换，randomchoice、resize和randomcrop。

transforms.Compose([transforms.RandomChoice([transforms.Resize(256), 
                                             transforms.Resize(480)]),
                    transforms.RandomCrop(224)
                    ])

对于第二个，这是您要寻找的，但Pytorch（实际上所有其他人）只是使用这个。

transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])

如果您认为这太简单，那么标准的Tensorflow预处理只是

x /= 127.5
x -= 1.