英特尔的人工智能产品团队宣布开源 nGraph，这是一个面向各种设备和框架的深度神经网络模型编译器。有了 nGraph，数据科学家能够专注于数据科学研发，不需要担心如何将 DNN 模型部署到各种不同设备做高效训练和运行。
nGraph 目前直接支持 TensorFlow、MXNet 以及 neon，并可间接地通过 ONNX 支持 CNTK、PyTorch、Caffe2。用户能够在不同的设备上运行这些框架： 英特尔架构、GPU 和 英特尔 Nervana 神经网络处理器（NNP）。
为什么建立 nGraph
当深度学习框架作为模型训练和推断的工具首次出现时，在设计上是围绕 kernel 为特定设备优化。结果，把深度学习模型部署到其它更先进的设备时，会在模型定义暴露出许多细节问题，从而限制了其适应性和可移植性。
使用传统的方法意味着算法开发者面临把模型升级到其他设备时的沉闷工作。使一个模型能够在不同框架上运行也非常困难，因为开发者必须把模型的本质从对设备的性能调整中分离出来，并转化到新框架中的相似运算，最终在新框架上为优选的设备配置做必要的改变。
我们设计的 nGraph 库充分地减少了这些工程的复杂性。虽然通过该项目以及英特尔的 MKL-DNN 这样的库，能够为深度学习原语提供优化核，但仍有多种编译器启发式的方法能够带来进一步的优化。
nGraph 是如何工作的？
安装 nGraph 库，并使用该库编写或编译一个框架来训练模型和执行模型推理。将 nGraph 指定为框架后端，以在任意支持的系统上用命令行运行该库。我们的中间表征（Intermediate Representation，IR）层可以处理所有的设备抽象细节，从而让开发者集中于数据科学、算法和模型的研究，不需要花费太多精力在写代码上。
从更加详细的角度来说：
nGraph 核心创建了计算过程的一种强类型和设备无关的无状态图表征。图中的每一个节点或运算对应计算的一个步骤，其中每个步骤从 0 或更多张量的输入中生成 0 或更多张量的输出。我们的思想是 nGraph 运算可以作为深度学习框架中的复杂 DNN 操作的构建模块，且它能根据需要而衡量是高效编译和推导训练计算还是推断计算。
我们为每个支持的框架开发了框架桥梁（framework bridge）；它作为 nGraph 核心和框架之间的媒介起作用。目前我们已经开发了 TensorFlow/XLA、MXNet 和 ONNX 的框架桥梁。由于 ONNX 仅仅是一种交换格式，因此 ONNX 的桥梁将通过执行 API 进行增强。
在 nGraph 核心和多种设备之间工作的变换器有着类似的作用；变换器使用通用的和设备特定的图转换处理设备抽象。得到的结果是一个函数，可以从框架桥梁执行。变换器是可分配和可解除分配的，可按桥梁的方向读取和写入张量。我们目前已有英特尔架构、英特尔 NNP、英伟达 cuDNN 的变换器，并正积极开发着其它设备的变换器。
-
策划编辑｜Natalie 译者｜核子可乐 编辑｜Natalie AI 前线导读： 英特尔正式宣布开源 nGraph，这是一款能兼容所有框架的深度神经网络（DNN）模型编译器，可用于多种硬件设备。利用 nGraph，数据科学家们将能够专注于数据科学工作，而无需分神于如何调整 DNN 模型以在不同设备上高效实现训练与运行。 更多干货内容请关注微信公众号“AI 前线”，（ID：ai-front） 在今天
-
LeNet 5 LeNet-5是第一个成功的卷积神经网络，共有7层，不包含输入，每层都包含可训练参数（连接权重）。 AlexNet tf AlexNet可以认为是增强版的LeNet5，共8层，其中前5层convolutional，后面3层是full-connected。 GooLeNet (Inception v2) GoogLeNet用了很多相同的层，共22层，并将全连接层变为稀疏链接层。 In
-
代码见nn_overfit.py 优化 Regularization 在前面实现的RELU连接的两层神经网络中，加Regularization进行约束，采用加l2 norm的方法，进行负反馈： 代码实现上，只需要对tf_sgd_relu_nn中train_loss做修改即可： 可以用tf.nn.l2_loss(t)对一个Tensor对象求l2 norm 需要对我们使用的各个W都做这样的计算（参考t
-
本章到目前为止介绍的循环神经网络只有一个单向的隐藏层，在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。图6.11演示了一个有$L$个隐藏层的深度循环神经网络，每个隐藏状态不断传递至当前层的下一时间步和当前时间步的下一层。 具体来说，在时间步$t$里，设小批量输入$\boldsymbol{X}_t \in \mathbb{R}^{n \times d}$（样本数
-
在LeNet提出后的将近20年里，神经网络一度被其他机器学习方法超越，如支持向量机。虽然LeNet可以在早期的小数据集上取得好的成绩，但是在更大的真实数据集上的表现并不尽如人意。一方面，神经网络计算复杂。虽然20世纪90年代也有过一些针对神经网络的加速硬件，但并没有像之后GPU那样大量普及。因此，训练一个多通道、多层和有大量参数的卷积神经网络在当年很难完成。另一方面，当年研究者还没有大量深入研究参
-
深度神经网络（DNN）是在输入和输出层之间具有多个隐藏层的ANN。 与浅层神经网络类似，DNN可以模拟复杂的非线性关系。 神经网络的主要目的是接收一组输入，对它们执行逐步复杂的计算，并提供输出以解决诸如分类之类的现实世界问题。 我们限制自己前馈神经网络。 我们在深层网络中有输入，输出和顺序数据流。 神经网络广泛用于监督学习和强化学习问题。 这些网络基于彼此连接的一组层。 在深度学习中，隐藏层的数量
-
神经网络和深度学习是一本免费的在线书。本书会教会你： 神经网络，一种美妙的受生物学启发的编程范式，可以让计算机从观测数据中进行学习 深度学习，一个强有力的用于神经网络学习的众多技术的集合 神经网络和深度学习目前给出了在图像识别、语音识别和自然语言处理领域中很多问题的最好解决方案。本书将会教你在神经网络和深度学习背后的众多核心概念。 想了解本书选择的观点的更多细节，请看这里。或者直接跳到第一章 开始
-
我是神经网络领域的新手，我想知道深度信念网络和卷积网络之间的区别。还有，有没有深度信念和卷积神经网络相结合的深度卷积网络？ 这就是我目前所收集到的。如果我错了请纠正我。 对于图像分类问题，深度信念网络有许多层，每个层都使用贪婪的分层策略进行训练。例如，如果我的图像大小是50x50，我想要一个有4层的深度网络，即 输入层 隐藏层1(HL1) 隐藏层2(HL2) 输出层 如果使用卷积神经网络解决了同样
-
在感知机原理小结中，我们介绍过感知机的模型，它是一个有若干输入和一个输出的模型，如下图: 输出和输入之间学习到一个线性关系，得到中间输出结果：$$z=sumlimits_{i=1}^mw_ix_i + b$$ 接着是一个神经元激活函数: $$sign(z)= begin{cases} -1& {z<0} 1& {zgeq 0} end{cases}$$ 从而得到我们想要的输出结果1或者-1。 这个