如何在tf.data.Dataset中输入大小不同的列表的列表

Question

我有一长串的整数列表（代表句子，每个句子的大小不同），我想使用tf.data库进行输入。每个列表（列表列表中的列表）都有不同的长度，并且出现错误，可以在此处重现：

t = [[4,2], [3,4,5]]
dataset = tf.data.Dataset.from_tensor_slices(t)

我得到的错误是：

ValueError: Argument must be a dense tensor: [[4, 2], [3, 4, 5]] - got shape [2], but wanted [2, 2].

有没有办法做到这一点？

编辑1：明确一点，我不想填充列表的输入列表（这是包含超过一百万个元素的句子列表，长度不同），我想使用tf.data库在一个正确的方法是使用长度可变的列表列表。

Answer 1

您可以tf.data.Dataset.from_generator()用来将任何可迭代的Python对象（例如列表列表）转换为Dataset：

t = [[4, 2], [3, 4, 5]]

dataset = tf.data.Dataset.from_generator(lambda: t, tf.int32, output_shapes=[None])

iterator = dataset.make_one_shot_iterator()
next_element = iterator.get_next()

with tf.Session() as sess:
  print(sess.run(next_element))  # ==> '[4, 2]'
  print(sess.run(next_element))  # ==> '[3, 4, 5]'