当前位置: 首页 > 知识库问答 >
问题:

卷积神经网络-权值可视化

舒浩邈
2023-03-14

主要问题

我无法理解特定图层的权重图。我使用了一种“无学习”的方法:plot\u conv\u weights(layer,figsize=(6,6))

我用千层面作为我的神经网络库。

情节很好,但我不知道该怎么解释。

神经网络结构

im使用的结构:

InputLayer  1x31x31

Conv2DLayer 20x3x3  
Conv2DLayer 20x3x3  
Conv2DLayer 20x3x3  

MaxPool2DLayer  2x2 

Conv2DLayer 40x3x3  
Conv2DLayer 40x3x3
Conv2DLayer 40x3x3  

MaxPool2DLayer  40x2x2  


DropoutLayer        

DenseLayer  96  
DropoutLayer    96  

DenseLayer  32  
DropoutLayer    32  

DenseLayer  1 as sigmoid

以下是前3层的权重:

**关于图片**

所以对我来说,它们看起来是随机的,我无法解释它们!

然而,在Cs231上,它说:

Conv/FC过滤器。第二种常见策略是将权重可视化。这些通常在第一个CONV层上最容易解释,该层直接查看原始像素数据,但也可以显示网络中更深层次的滤波器权重。权重对于可视化非常有用,因为经过良好训练的网络通常会显示良好且平滑的过滤器,没有任何噪声模式。噪声模式可能是网络训练时间不够长的指标,也可能是导致过度拟合的非常低的正则化强度http://cs231n.github.io/understanding-cnn/

那为什么我的是随机的?

该结构经过训练并在其任务中表现良好。

参考文献

http://cs231n.github.io/understanding-cnn/

https://github.com/dnouri/nolearn/blob/master/nolearn/lasagne/visualize.py

共有1个答案

隆兴修
2023-03-14

通常,在可视化权重时,需要检查两件事:

  • 它们是平滑的,并且涵盖了广泛的值,即它不是一堆1和0。这意味着非线性已经饱和。
  • 它们有某种结构。通常您倾向于看到定向边缘,尽管当您使用3x3等小型过滤器时,这更难看到。

也就是说,你的权重似乎没有饱和,但它们确实看起来太随机了。在训练过程中,网络收敛正确吗?我也对你的过滤器有多大感到惊讶(30x30)。不知道你想用它来实现什么。

 类似资料:
  • 注意: 本教程适用于对Tensorflow有丰富经验的用户,并假定用户有机器学习相关领域的专业知识和经验。 概述 对CIFAR-10 数据集的分类是机器学习中一个公开的基准测试问题,其任务是对一组大小为32x32的RGB图像进行分类,这些图像涵盖了10个类别: 飞机, 汽车, 鸟, 猫, 鹿, 狗, 青蛙, 马, 船以及卡车。 想了解更多信息请参考CIFAR-10 page,以及Alex Kriz

  • 卷积神经网络(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网络

  • 我读过这篇文章“UFLDF”,它发展了autoencoder中隐藏层的可视化,但我很困惑如何可视化卷积神经网络的滤波器。在我看来,对于第一个卷积层,要使滤波器可视化,它需要这个等式: 对于第二个卷积层,它应该将滤波器投射到原始输入空间,但我不知道如何做。

  • 在了解了机器学习概念之后,现在可以将注意力转移到深度学习概念上。深度学习是机器学习的一个分支。深度学习实现的示例包括图像识别和语音识别等应用。 以下是两种重要的深度神经网络 - 卷积神经网络 递归神经网络 在本章中,我们将重点介绍CNN - 卷积神经网络。 卷积神经网络 卷积神经网络旨在通过多层阵列处理数据。这种类型的神经网络用于图像识别或面部识别等应用。CNN与其他普通神经网络之间的主要区别在于

  • 主要内容:卷积神经网络深度学习是机器学习的一个分支,它是近几十年来研究人员突破的关键步骤。深度学习实现的示例包括图像识别和语音识别等应用。 下面给出了两种重要的深度神经网络 - 卷积神经网络 递归神经网络。 在本章中,我们将关注第一种类型,即卷积神经网络(CNN)。 卷积神经网络 卷积神经网络旨在通过多层阵列处理数据。这种类型的神经网络用于图像识别或面部识别等应用。 CNN与任何其他普通神经网络之间的主要区别在于CNN

  • 注意: 本教程适用于对Tensorflow有丰富经验的用户,并假定用户有机器学习相关领域的专业知识和经验。 概述 对CIFAR-10 数据集的分类是机器学习中一个公开的基准测试问题,其任务是对一组32x32RGB的图像进行分类,这些图像涵盖了10个类别: 飞机, 汽车, 鸟, 猫, 鹿, 狗, 青蛙, 马, 船以及卡车。 想了解更多信息请参考CIFAR-10 page,以及Alex Krizhev