《深度学习》专题

主要内容 课程列表 专项课程学习 辅助课程 论文专区 课程列表 课程 机构 参考书 Notes等其他资料 卷积神经网络视觉识别 Stanford 暂无 链接 神经网络 Tweet 暂无 链接 深度学习用于自然语言处理 Stanford 暂无 链接 自然语言处理 Speech and Language Processing 链接 专项课程学习 下述的课程都是公认的最好的在线学习资料，侧重点不同，但推

Google Cloud Platform 推出了一个 Learn TensorFlow and deep learning, without a Ph.D. 的教程，介绍了如何基于 Tensorflow 实现 CNN 和 RNN，链接在 这里。 Youtube Slide1 Slide2 Sample Code

现在开始学深度学习。在这部分讲义中，我们要简单介绍神经网络，讨论一下向量化以及利用反向传播(backpropagation)来训练神经网络。 1 神经网络(Neural Networks) 我们将慢慢的从一个小问题开始一步一步的构建一个神经网络。回忆一下本课程最开始的时就见到的那个房价预测问题：给定房屋的面积，我们要预测其价格。 在之前的章节中，我们学到的方法是在数据图像中拟合一条直线。现在咱们不

深度学习的总体来讲分三层，输入层，隐藏层和输出层。如下图： 但是中间的隐藏层可以是多层，所以叫深度神经网络，中间的隐藏层可以有多种形式，就构成了各种不同的神经网络模型。这部分主要介绍各种常见的神经网络层。在熟悉这些常见的层后，一个神经网络其实就是各种不同层的组合。后边介绍主要基于keras的文档进行组织介绍。

Python 是一种通用的高级编程语言，广泛用于数据科学和生成深度学习算法。这个简短的教程介绍了 Python 及其库，如 Numpy，Scipy，Pandas，Matplotlib，像 Theano，TensorFlow，Keras 这样的框架。

你拿起这本书的时候，可能已经知道深度学习近年来在人工智能领域所取得的非凡进展。在图像识别和语音转录的任务上，五年前的模型还几乎无法使用，如今的模型的表现已经超越了人类。

本书将全面介绍深度学习从模型构造到模型训练的方方面面，以及它们在计算机视觉和自然语言处理中的应用。

本书将全面介绍深度学习从模型构造到模型训练的方方面面，以及它们在计算机视觉和自然语言处理中的应用。Github 地址：https://github.com/d2l-ai/d2l-zh

问题列表 《深度学习》 8.4 参数初始化策略 一般总是使用服从（截断）高斯或均匀分布的随机值，具体是高斯还是均匀分布影响不大，但是也没有详细的研究。 但是，初始值的大小会对优化结果和网络的泛化能力产生较大的影响。 一些启发式初始化策略通常是根据输入与输出的单元数来决定初始权重的大小，比如 Glorot and Bengio (2010) 中建议建议使用的标准初始化，其中 m 为输入数，n 为输出

加速训练的方法 内部方法 网络结构 比如 CNN 与 RNN，前者更适合并行架构 优化算法的改进：动量、自适应学习率 ./专题-优化算法 减少参数规模 比如使用 GRU 代替 LSTM 参数初始化 Batch Normalization 外部方法 深度学习训练加速方法 - CSDN博客 GPU 加速 数据并行 模型并行 混合数据并行与模型并行 CPU 集群 GPU 集群

相关专题 《深度学习》整理 CNN 专题 RNN 专题 优化算法专题 随机梯度下降 动量算法 自适应学习率算法 基于二阶梯度的优化算法 《深度学习》 5.2 容量、过拟合和欠拟合 欠拟合指模型不能在训练集上获得足够低的训练误差； 过拟合指模型的训练误差与测试误差（泛化误差）之间差距过大； 反映在评价指标上，就是模型在训练集上表现良好，但是在测试集和新数据上表现一般（泛化能力差）； 降低过拟合风险的

你可能已经接触过编程，并开发过一两款程序。同时你可能读过关于深度学习或者机器学习的铺天盖地的报道，尽管很多时候它们被赋予了更广义的名字：人工智能。实际上，或者说幸运的是，大部分程序并不需要深度学习或者是更广义上的人工智能技术。例如，如果我们要为一台微波炉编写一个用户界面，只需要一点儿工夫我们便能设计出十几个按钮以及一系列能精确描述微波炉在各种情况下的表现的规则。再比如，假设我们要编写一个电子邮件客

深度学习500问，以问答形式对常用的概率知识、线性代数、机器学习、深度学习、计算机视觉等热点问题进行阐述，以帮助自己及有需要的读者。 全书分为18个章节，近30万字。 1. 版权声明 请尊重作者的知识产权，版权所有，翻版必究。 未经许可，严禁转发内容！ 请大家一起维护自己的劳动成果，进行监督。 未经许可， 严禁转发内容！ 　　　 2018.6.27 TanJiyong 2. 概述 本项目是大家对A

主要内容：机器学习,深度学习,机器学习与深度学习的区别,机器学习和深度学习的应用人工智能是近几年来最流行的趋势之一。机器学习和深度学习构成了人工智能。下面显示的维恩图解释了机器学习和深度学习的关系 - 机器学习 机器学习是让计算机按照设计和编程的算法行事的科学艺术。许多研究人员认为机器学习是实现人类AI的最佳方式。机器学习包括以下类型的模式 - 监督学习模式 无监督学习模式 深度学习 深度学习是机器学习的一个子领域，其中有关算法的灵感来自大脑的结构和功能，称为人工神经网络。

主要内容：数据量,硬件依赖,特色工程在本章中，我们将讨论机器和深度学习概念之间的主要区别。 数据量 机器学习使用不同数量的数据，主要用于少量数据。另一方面，如果数据量迅速增加，深度学习可以有效地工作。下图描绘了机器学习和深度学习在数据量方面的工作 - 硬件依赖 与传统的机器学习算法相反，深度学习算法设计为在很大程度上依赖于高端机器。深度学习算法执行大量矩阵乘法运算，这需要巨大的硬件支持。 特色工程 特征工程是将领域知识放入指定特征的