《深度学习》专题

在上一章，我们学习了深度神经网络通常比浅层神经网络更加难以训练。我们有理由相信，若是可以训练深度网络，则能够获得比浅层网络更加强大的能力，但是现实很残酷。从上一章我们可以看到很多不利的消息，但是这些困难不能阻止我们使用深度神经网络。本章，我们将给出可以用来训练深度神经网络的技术，并在实战中应用它们。同样我们也会从更加广阔的视角来看神经网络，简要地回顾近期有关深度神经网络在图像识别、语音识别和其他应

卷积神经网络(CNN) 卷积神经网络(Convolutional Neural Network,CNN)是将二维离散卷积运算和人工神经网络相结合的一种深度神经网络。它的特点是可以自动提取特征。有关卷积神经网络的数学原理和训练过程请见我的另一篇文章《机器学习教程 十五-细解卷积神经网络》。 手写数字识别 为了试验，我们直接采用http://yann.lecun.com/exdb/mnist/中的手写

说明 该文档为“3Blue1Brown - 深度学习系列视频”的整理，主要包括三个视频 神经网络的结构 梯度下降法 反向传播算法 让我们跟着 3Blue1Brown 从偏数学的角度来理解神经网络（原视频假设观众对神经网络没有任何背景知识） 目录 内容： 神经网络是什么？ 神经网络的结构 神经网络的工作机制 深度学习中的“学习”指的是什么？ 神经网络的不足 示例：一个用于数字手写识别的神经网络 这个

本节将讨论优化与深度学习的关系，以及优化在深度学习中的挑战。在一个深度学习问题中，我们通常会预先定义一个损失函数。有了损失函数以后，我们就可以使用优化算法试图将其最小化。在优化中，这样的损失函数通常被称作优化问题的目标函数（objective function）。依据惯例，优化算法通常只考虑最小化目标函数。其实，任何最大化问题都可以很容易地转化为最小化问题，只需令目标函数的相反数为新的目标函数即可

工具归工具，研究归研究，AI的研究唯有打好基础，多看论文，多做实验，才能真正掌握深度学习。 Google 深度学习笔记 Github工程地址：https://github.com/ahangchen/GDLnotes

本文向大家介绍深度学习中的Batch Normalization?相关面试题，主要包含被问及深度学习中的Batch Normalization?时的应答技巧和注意事项，需要的朋友参考一下   答：BN就是在神经网络的训练过程中对每层的输入数据加一个标准化处理 传统的神经网络，只是在将样本x输入输入层之前对x进行标准化处理（减均值，除标准差），以降低样本间的差异性。BN是在此基础上，不仅仅只对输入层

本文向大家介绍深度学习常用方法?相关面试题，主要包含被问及深度学习常用方法?时的应答技巧和注意事项，需要的朋友参考一下   答：全连接DNN(相邻层互相连接，层内无连接) AutoEncoder(尽可能还原输入)、Sparse Coding(在AE上加入L1规范)、RBM(解决概率问题)---->>特征检测---->>栈式叠加贪心训练 RBM---->DBM 解决全连接DNN的全连接问题---->

本文向大家介绍深度学习调参经验？相关面试题，主要包含被问及深度学习调参经验？时的应答技巧和注意事项，需要的朋友参考一下 参数初始化，uniform均匀分布初始化，normal高斯分布初始化 数据预处理，进行归一化，有几种常用方法 梯度归一，算出来的梯度除以minibatch size 还有梯度裁剪，限制梯度上限，dropout防过拟合,一般sgd，选择0.1的学习了，衰减型的，激活函数选择relu

问题内容： 也许这个问题太笼统，但是谁能解释导致卷积神经网络发散的原因是什么？ 细节： 我正在使用Tensorflow的iris_training模型处理一些自己的数据，并不断获取 错误：张量流：模型因损失= NaN而发散。 追溯… tensorflow.contrib.learn.python.learn.monitors.NanLossDuringTrainingError：训练期间NaN丢失

Dive into cheap deep learning，专注于让深度学习更划算更便宜，From your IQ, your devices, and your resource，从学习智力上、装备上、资源上。

一面 深挖实习项目，问了算法的idea产生以及部署落地后的效果，最后问进一步改进方法 二面 第一部分考察对NeRF整个领域的了解，介绍了十多个下游领域方向代表的论文并说明优缺点；第二部分针对NeRF问我关注什么样的改进以及重点看哪方面的创新点，之后对NeRF+SDF的表面表达原理细节以及公式提问，接着问实习项目的创新点；第三部分针对他们业务中存在的问题问我有哪些方法或者建议；最后一部分简单过了鼠鼠

简介：Attention机制是一种用于加强神经网络在处理序列数据中关注重要部分的机制。在处理长序列时，RNN可能难以捕捉到序列中不同部分的重要程度，导致信息传递不够高效。而Attention机制允许网络根据当前输入和其他位置的信息，动态地调整各个位置的权重，使得模型可以有选择地关注不同部分的输入。Transformer是一种基于Attention机制的神经网络架构，由著名且经典的"Attentio

分享面经攒攒人品！base西安 整个面试不到20minutes，不用手撕，感觉真就kpi面，主要是我的方向和他们也不太吻合。 自我介绍，项目细问+面试官介绍他们的业务和方向+反问。。。 面试官人很nice！月底出结果（说是投的人好多还得面好多），不过我面完就知道凉凉

什么是深度学习 有两种方式来衡量模型的深度：第一种就是sequential instructions的数目，我们可以把这个想象成最长的计算路径；另一种方式就是描述概念之间相互关系的网络深度，但是这个方式呢要计算需要计算每个concept的representation，所以会比graph的深度要深，主要是因为简单的概念能被定义，从而能够表述更加复杂的概念。 深度学习的历史 深度学习有着长而丰富的开始

词向量 自然语言需要数学化才能够被计算机认识和计算。数学化的方法有很多，最简单的方法是为每个词分配一个编号，这种方法已经有多种应用，但是依然存在一个缺点：不能表示词与词的关系。 词向量是这样的一种向量[0.1, -3.31, 83.37, 93.0, -18.37, ……]，每一个词对应一个向量，词义相近的词，他们的词向量距离也会越近(欧氏距离、夹角余弦) 词向量有一个优点，就是维度一般较低，一般