用FFT实现二维卷积

Question

tensorflow.conv2d()对于用大内核（筛选器）卷积大图像来说速度慢得不切实际。将一个1024x1024的图像与一个相同大小的内核进行卷积需要几分钟的时间。为了进行比较，cv2.filter2d()立即返回结果。

我找到了tf.fft2()和tf.rfft()。

然而，我并不清楚如何使用这些函数执行简单的图像过滤。

如何使用FFT与TensorFlow实现快速二维图像滤波？

Answer 1

使用卷积定理和离散时间傅里叶变换(DTFT)可以计算形式为x*y的线性离散卷积。如果x*y是循环离散卷积，则可以用离散傅里叶变换(DFT)计算。

卷积定理状态x*y可以使用傅里叶变换计算为

如果x和y是离散的，并且它们的卷积是循环卷积，则上面的DTFT由DFT代替。注意：线性卷积问题可以嵌入到循环卷积问题中。

我对MATLAB比较熟悉，但是通过阅读TensorFlow的TF.Signal.FFT2D和TF.Signal.IFFT2D文档，下面的解决方案可以通过替换MATLAB函数FFT2和IFFT2轻松转换为TensorFlow。

在MATLAB（和TensorFlow）中FFT2（和TF.Signal.FFT2D)使用快速傅里叶变换算法计算DFT。如果x和y的卷积是循环的，则可以通过下式计算

ifft2(fft2(x).*fft2(y))

其中.*表示MATLAB中逐元素乘法。然而，如果它是线性的，那么我们将数据零填充到长度2n-1，其中n是一维的长度（在问题中为1024）。在MATLAB中，这可以有两种计算方法之一。首先，由

h = ifft2(fft2(x, 2*N-1, 2*N-1).*fft2(y, 2*N-1, 2*N-1));

其中MATLAB通过补零计算x和y的2*n-1点二维傅里叶变换，然后进行2*n-1点二维傅里叶逆变换。这个方法不能在TensorFlow中使用（根据我对文档的理解），所以next是唯一的选择。在MATLAB和TensorFlow中,首先将x和y扩展为大小2*n-1x2*n-1,然后计算2*n-1点二维傅里叶变换和逆傅里叶变换,即可计算卷积

x_extended = x;
x_extended(2*N-1, 2*N-1) = 0;

y_extended = y;
y_extended(2*N-1, 2*N-1) = 0;

h_extended = ifft2(fft2(x_extended).*fft2(y_extended));

在MATLAB中，h和h_extended完全相等。在不进行傅里叶变换的情况下，可以计算x和y的卷积

hC = conv2(x, y);

在MATLAB中。