我试图解决序列完成的问题。假设我们有基本真值序列(1,2,4,7,6,8,10,12,18,20)
我们模型的输入是一个不完整的序列。i、 e(1,2,4,10,12,18,20)。从这个不完整序列中,我们想要预测原始序列(地面真值序列)。哪些深度学习模型可以用来解决这个问题?
这是编码器-解码器LSTM体系结构的问题吗?
注:我们有数千个完整的序列来训练和测试模型。
感谢您的帮助。
在你的序列完成任务中,你是试图预测序列中的下一个项目还是只学习缺失的值?用缺失的数据训练神经网络本身就是一个问题。如果您使用Keras和LSTM类型的NN来解决您的问题,您应该考虑屏蔽,您可以参考此stackoverflow线程了解更多详细信息:具有缺失值的多元LSTM关于预测缺失值,为什么不尝试自动编码器呢?
这不完全是序列到序列的问题,这是一个序列标签问题。我建议要么堆叠双向LSTM层,然后是分类器,要么堆叠转换器层,然后是分类器。
编码器-解码器体系结构需要大量的数据来正确训练,并且如果目标序列可以是任意长度,仅模糊地取决于源序列长度,则特别有用。它最终会学会用足够的量来完成这项工作,但是序列标记是一个更简单的问题。
使用序列标签,可以在输出上设置自定义掩码,因此模型将仅预测缺失的数字。编码器-解码器模型需要先学习复制大部分输入。
主要内容 课程列表 专项课程学习 辅助课程 论文专区 课程列表 课程 机构 参考书 Notes等其他资料 卷积神经网络视觉识别 Stanford 暂无 链接 神经网络 Tweet 暂无 链接 深度学习用于自然语言处理 Stanford 暂无 链接 自然语言处理 Speech and Language Processing 链接 专项课程学习 下述的课程都是公认的最好的在线学习资料,侧重点不同,但推
Google Cloud Platform 推出了一个 Learn TensorFlow and deep learning, without a Ph.D. 的教程,介绍了如何基于 Tensorflow 实现 CNN 和 RNN,链接在 这里。 Youtube Slide1 Slide2 Sample Code
推荐系统是针对消费者过度选择的直观防线。 鉴于网络上可用信息的爆炸性增长,用户经常受到无数产品,电影或餐馆的欢迎。 原文:Deep Learning based Recommender System: A Survey and New Perspectives (arxiv 1707.07435)
现在开始学深度学习。在这部分讲义中,我们要简单介绍神经网络,讨论一下向量化以及利用反向传播(backpropagation)来训练神经网络。 1 神经网络(Neural Networks) 我们将慢慢的从一个小问题开始一步一步的构建一个神经网络。回忆一下本课程最开始的时就见到的那个房价预测问题:给定房屋的面积,我们要预测其价格。 在之前的章节中,我们学到的方法是在数据图像中拟合一条直线。现在咱们不
深度学习的总体来讲分三层,输入层,隐藏层和输出层。如下图: 但是中间的隐藏层可以是多层,所以叫深度神经网络,中间的隐藏层可以有多种形式,就构成了各种不同的神经网络模型。这部分主要介绍各种常见的神经网络层。在熟悉这些常见的层后,一个神经网络其实就是各种不同层的组合。后边介绍主要基于keras的文档进行组织介绍。
Python 是一种通用的高级编程语言,广泛用于数据科学和生成深度学习算法。这个简短的教程介绍了 Python 及其库,如 Numpy,Scipy,Pandas,Matplotlib,像 Theano,TensorFlow,Keras 这样的框架。