使用旋转矩阵和常规imagenet标准偏差计算灰度imagenet像素值的标准偏差

Question

我想训练一些模型来处理灰度图像，例如对显微镜应用有用（Source）。因此，我想在灰度图像网上训练我的模型，使用pytorch灰度转换（torchvision.transforms.灰度），将RGB图像网转换为灰度图像网。内部pytorch将颜色空间从RGB旋转到YPbPr，如下所示：

Y'是灰度通道，因此转换后Pb和Pr可以忽略。实际上pytorch甚至只计算

grayscale = (0.2989 * r + 0.587 * g + 0.114 * b)

为了规范化图像数据，我需要知道灰度imagenet的平均像素值，以及标准偏差。可以计算这些吗？

我成功地使用

meanGrayscale = 0.2989 * r.mean() + 0.587 * g.mean() + 0.114 * b.mean()

变换图像，然后计算灰度平均值，得到的结果与首先计算RGB平均值，然后将其变换为灰度平均值的结果相同。

然而，我现在在计算方差或均方差时一无所知。有人对这个话题有什么想法，或者知道一些好的文学作品吗？这有可能吗？

我找到了一份出版物《宫建新——澄清标准偏差椭圆》...在那里，他做了2个维度（据我所知）。我只是还不知道如何在3D中做到这一点。

Answer 1

好吧，我无法按计划计算均方差，但使用了下面的代码。灰度图像网的训练数据集的平均值和均方差是（尽可能地舍入它）：

平均值：0.44531356896770125

标准偏差：0.2692461874154524

import multiprocessing
import os

def calcSTD(d):
    meanValue = 0.44531356896770125
    squaredError = 0
    numberOfPixels = 0
    for f in os.listdir("/home/imagenet/ILSVRC/Data/CLS-LOC/train/"+str(d)+"/"): 
        if f.endswith(".JPEG"):
            
            image = imread("/home/imagenet/ILSVRC/Data/CLS-LOC/train/"+str(d)+"/"+str(f))
                
            ###Transform to gray if not already gray anyways  
            if  np.array(image).ndim == 3:
                matrix = np.array(image)
                blue = matrix[:,:,0]/255
                green = matrix[:,:,1]/255
                red = matrix[:,:,2]/255
                gray = (0.2989 * red + 0.587 * green + 0.114 * blue)
            else:
                gray = np.array(image)/255
            ###----------------------------------------------------       
                    
            for line in gray:
                for pixel in line:
                    squaredError += (pixel-meanValue)**2
                    numberOfPixels += 1
    
    return (squaredError, numberOfPixels)

a_pool = multiprocessing.Pool()
folders = []
[folders.append(f.name) for f in os.scandir("/home/imagenet/ILSVRC/Data/CLS-LOC/train") if f.is_dir()]
resultStD = a_pool.map(calcSTD, folders)

StD = (sum([intensity[0] for intensity in resultStD])/sum([pixels[1] for pixels in resultStD]))**0.5
print(StD)

在这个过程中出现了一些这样的错误：

/opt/conda/lib/python3。7/站点包/PIL/TiffImagePlugin。py:771:UserWarning:EXIF数据可能已损坏。预期读取8个字节，但仅获取4个字节。正在跳过标记41486“可能损坏的EXIF数据”

来自2019年版本的ImageNet的图像被跳过。