如何从TensorFlow数据集中提取数据/标签

Question

有很多例子可以说明如何创建和使用TensorFlow数据集。

dataset = tf.data.Dataset.from_tensor_slices((images, labels))

我的问题是如何以numpy格式从TF数据集获取数据/标签？换言之，WAND将是上面这行的反向操作，即我有一个TF数据集，并希望从中获取图像和标签。

Answer 1

我想我们在这里得到了一个很好的例子：

https://colab.research.google.com/github/tensorflow/datasets/blob/master/docs/overview.ipynb#scrollTo=BC4pEXtkp4K-

import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf
import tensorflow_datasets as tfds

# where mnsit train is a tf dataset
mnist_train = tfds.load(name="mnist", split=tfds.Split.TRAIN)
assert isinstance(mnist_train, tf.data.Dataset)

mnist_example, = mnist_train.take(1)
image, label = mnist_example["image"], mnist_example["label"]

plt.imshow(image.numpy()[:, :, 0].astype(np.float32), cmap=plt.get_cmap("gray"))
print("Label: %d" % label.numpy())

因此，数据集的每个单独组件都可以像字典一样访问。可能不同的数据集有不同的字段名（Boston housing没有图像和值，但可能有“功能”和“目标”或“价格”）：

cnn = tfds.load(name="cnn_dailymail", split=tfds.Split.TRAIN)
assert isinstance(cnn, tf.data.Dataset)
cnn_ex, = cnn.take(1)
print(cnn_ex)

返回一个dict（），其中包含键['article'，highlight']，并包含numpy字符串。

Answer 2

假设我们的tf.data.数据集被称为train_dataset，并且打开了eager_execution（默认为TF 2. x），您可以检索像这样的图像和标签：

for images, labels in train_dataset.take(1):  # only take first element of dataset
    numpy_images = images.numpy()
    numpy_labels = labels.numpy()

• 内联操作。numpy（）。numpy数组中的张量

Answer 3

如果你的tf。数据数据集已批处理，以下代码将检索所有y标签：

y = np.concatenate([y for x, y in ds], axis=0)