基于参数共享的卷积神经网络权值计算

Question

在阅读墨菲的《机器学习：概率观点》一书和迈克·奥尼尔的这篇文章时，我遇到了一些关于卷积神经网络中权重数的计算，我想了解这些计算。网络架构如下：

这是上述文章的解释：

第2层也是一个卷积层，但有50个要素地图。每个特征映射是5x5，特征映射中的每个单元是前一层所有6个特征映射对应区域的5x5卷积核，每个是13x13特征映射。因此，第2层中有5x5x50=1250个神经元，（5x5 1）x6x50=7800个重量，1250x26=32500个连接。

权重数的计算（5x5 1）x6x50=7800，对我来说似乎很奇怪。不应该是这样的实际计算：（5x5x6 1）x50=7550，根据此处解释的参数共享。

我的论点如下：我们有50个大小为5x5x6的过滤器，每个过滤器有一个偏差，因此权重的总数是（5x5x6 1）x50=7550。这是Pytorch代码，它验证了这一点：

import torch
import torch.nn as nn

model = nn.Conv2d(in_channels=6, out_channels=50, kernel_size=5, stride=2)
params_count = sum(param.numel() for param in model.parameters() if param.requires_grad)
print(params_count) # 7550

谁能解释一下这一点，哪一个是正确的？

Answer 1

我的计算：

第一层深度为6，内核：5*5
第二层深度为50，内核：5*5

神经元总数#第二层：5*5*50=1250

权重总数为：5*5*50*6 = 7500

最后，偏置#Layer-2=50（深度为50）

我同意你的意见：总重量必须是7550。