是否有使用乙状结肠激活优于ReLu的情况
我正在训练一个复杂的神经网络架构，我使用RNN对输入进行编码，然后是一个具有softmax输出层的深层神经网络。
我现在正在优化我的体系结构深层神经网络部分（单元数和隐藏层数）。
我目前正在为所有层使用sigmoid激活。对于少数隐藏层来说，这似乎是可以的，但随着层数的增加，似乎sigmoid不是最佳选择。
你认为我应该先对sigmoid进行超参数优化，然后再对ReLu进行优化，还是直接使用ReLu更好？
此外，考虑到我有一个softmax输出，您认为在第一个隐藏层中有Relu，在最后一个隐藏层中只有sigmoid有意义吗。
共有1个答案
你不能独立优化超参数，不。仅仅因为最终的最优解恰好是X层和Y节点，并不意味着所有激活函数、正则化策略、学习率等都是如此。这就是优化参数变得棘手的原因。这也是为什么有超参数优化库。我建议你从阅读“随机搜索优化”的概念开始。
-
本文向大家介绍Sigmiod、Relu、Tanh三个激活函数的缺点和不足，有没有更好的激活函数？相关面试题，主要包含被问及Sigmiod、Relu、Tanh三个激活函数的缺点和不足，有没有更好的激活函数？时的应答技巧和注意事项，需要的朋友参考一下 sigmoid、Tanh、ReLU的缺点在121问题中已有说明，为了解决ReLU的dead cell的情况，发明了Leaky Relu， 即在输入小于0
-
监听页面激活状态 返回watchId, 若要清除监听调用取消监听时传入 var watchId = Tida.pageVisibility.watch(function(result){ ///~ visible 1为激活 0为隐藏 ///~ 移动端按Home键回到桌面js会挂起不执行，所有再次回到页面该方法会先后一起调用，注意区别该值 if(result.visib
-
我有一个可以激活和停用的资源()。 用于此目的的最适合REST的URLendpoint是什么？ 现在我在考虑和，但我认为这不是很RESTful。 此外，我不确定使用什么HTTP方法。 你能提供一些指示吗？ 谢谢！
-
问题内容： 我有一台笔记本电脑，其Intel Core i5 M 450 @ 2.40GHz显然具有VT-x，但没有VT-d。我有32位的Ubuntu 12.04，但想在其上运行基于虚拟64位终端的Linux。我如何知道BIOS是否已激活该VT-x功能而无需重新启动？ 问题答案： 您可以使用 RDMSR 从 MSR工具 读取寄存器 IA32_FEATURE_CONTROL （地址 0x3a ）。为
-
问题内容： 因此，我正在使用下载管理器在我的应用程序中下载多个文件。开始某些活动之前，我需要这些文件才能完成下载。如何检查是否有活动的下载，所以我可以告诉用户等待下载完成。然后，当它们完成时，我需要使按钮可见。我已经用谷歌搜索过，甚至自己（盲目地）尝试了一些代码，但没有任何效果。如果有人可以向正确的方向推动我，我将不胜感激。 问题答案： 使用打听下载。调用时，返回值是下载的ID。您还可以按状态查询
-
我正在尝试使用CNN对图像进行分类，据我所知，ReLu是每个卷积层中激活单元的常用选择。根据我的理解，ReLU将保留所有正图像强度，并将负图像强度转换为0。对我来说，这就像是处理步骤，而不是真正的“启动”步骤。那么，在这里使用ReLU的目的是什么？