Sockeye

基于 Apache MXNet 的神经机器翻译框架
授权协议 Apache
开发语言 Python SHELL
所属分类 神经网络/人工智能、 机器学习/深度学习
软件类型 开源软件
地区 不详
投 递 者 彭修筠
操作系统 跨平台
开源组织 Amazon
适用人群 未知
 软件概览

Sockeye 是一个基于 Apache MXNet 的快速而可扩展的深度学习库。Sockeye 代码库具有来自 MXNet 的独特优势。例如,通过符号式和命令式 MXNet API,Sockeye 结合了陈述式和命令式编程风格;它同样可以在多块 GPU 上并行训练模型。

Sockeye:为使用 MXNet 的机器翻译进行序列到序列建模

Sockeye 实现了 MXNet 上当前最佳的序列到序列模型。它同样为所有序列到序列模型的超参数提供恰当的默认值。对于优化,无需担心停止标准、指标跟踪或者权重初始化。可以简单地运行已提供的训练命令行界面(CLI),也可以轻易改变基础模型架构,比如:

  • RNN 单元类型(LSTM 或 GRU)和隐藏状态大小

  • RNN 层的数量

  • 源序列和目标序列嵌入的大小

  • 应用于源编码的注意力机制的类型

Sockeye 同样有其他更高级的功能,比如:

  • 束搜索推理

  • 多模型的简单集成

  • RNN 层之间的残差链接

  • 输出层预测的词汇偏倚

  • 门控语境(Context gating)

  • 交叉熵标签平滑

  • 层归一化

为了训练,Sockeye 允许使用者完全掌控重要的优化参数。例如,使用者可以设置优化器类型、学习率、动量、权重衰减和提前停止条件。Sockeye 跟踪了训练和验证数据上的多个指标(包括专门针对机器翻译的指标,比如 BLEU)。

 相关资料
  • 译者:mengfu188 校对者:Zhiyu-Chen 作者: Sean Robertson 在这个项目中,我们将教一个把把法语翻译成英语的神经网络。 [KEY: > input, = target, < output] > il est en train de peindre un tableau . = he is painting a picture . < he is painting

  • 机器翻译是指将一段文本从一种语言自动翻译到另一种语言。因为一段文本序列在不同语言中的长度不一定相同,所以我们使用机器翻译为例来介绍编码器—解码器和注意力机制的应用。 读取和预处理数据 我们先定义一些特殊符号。其中“<pad>”(padding)符号用来添加在较短序列后,直到每个序列等长,而“<bos>”和“<eos>”符号分别表示序列的开始和结束。 import collections impo

  • 20世纪以来众多研究的一大价值,就是揭开了很多“天赋”的神秘面纱,让大家知道学习和训练的重要性,体育运动是如此,文艺创作是如此,翻译也是如此。我知道有许多人对翻译有兴趣,又担心自己“没有语感”,“没有语言天赋”,结果止步不前。对这样的情况,我时常感到非常惋惜,因为回过头看,自己能做一点翻译,而且译文能有机会出版,运气占很大成分,剩下的就是不断的学习、练习和总结了,“天赋”基本是没有的。如果你对翻译

  • 问题内容: 普通CPU(例如Android设备)是基于寄存器的计算机。Java虚拟机是基于堆栈的计算机。但是基于堆栈的计算机是否依赖于基于寄存器的计算机工作?由于基于堆栈的计算机不是OS,因此不能单独运行吗?除了JVM,是否有任何基于堆栈的计算机示例?有人说1个操作数,2个操作数;你为什么需要这个? 问题答案: JVM在任何地方都没有提到寄存器的存在。从它的角度来看,内存仅存在于少数几个地方,例如

  • 我正在尝试用RELU实现神经网络。 输入层- 以上是我的神经网络结构。我对这个relu的反向传播感到困惑。对于RELU的导数,如果x 有人能解释一下我的神经网络架构的反向传播“一步一步”吗?

  • 我有一个经过训练的网络,它由以下层组成:{con1, pool1, con2, pool2, con3, pool3, con4, pool4, fc5, fc6,输出}fc表示完全连接的层,conv表示卷积层。 我需要做一些图像的特征提取。我用的是千层面和意大利面。我需要保存每个层的特征,以便以后进行分析。我是这门语言的新手,所以我试图找到关于这门语言的示例代码或教程(使用theano/lasa