Tensorflow如何用于使用Python加载Illiad数据集？

Tensorflow是Google提供的一种机器学习框架。它是一个开放源代码框架，与Python结合使用以实现算法，深度学习应用程序等等。它用于研究和生产目的。

Tensor是TensorFlow中使用的数据结构。它有助于连接流程图中的边缘。该流程图称为“数据流程图”。张量不过是多维数组或列表。

可以使用三个主要属性来标识它们-

• 等级-讲述张量的维数。可以理解为张量的顺序或已定义的张量中的维数。

• 类型-它告诉与张量元素关联的数据类型。它可以是一维，二维或n维张量。

• 形状-它是行和列的总数。

我们将使用Illiad的数据集，其中包含来自William Cowper，Edward（德比伯爵）和Samuel Butler的三本翻译作品的文本数据。当给出单行文本时，训练模型以识别翻译器。使用的文本文件已经过预处理。这包括删除文档的页眉和页脚，行号和章节标题。

我们正在使用Google合作实验室来运行以下代码。Google Colab或Colaboratory可以帮助通过浏览器运行Python代码，并且需要零配置和对GPU（图形处理单元）的免费访问。合作已建立在Jupyter Notebook的基础上。

示例

以下是代码片段-

def labeler(example, index):
   return example, tf.cast(index, tf.int64)
print(“An empty list has been created”)
labeled_data_sets = []
print(“Iterate through the file names and create a dataset from text file using ‘TextLineDataset’
method”)
for i, file_name in enumerate(FILE_NAMES):
   lines_dataset = tf.data.TextLineDataset(str(parent_dir/file_name))
   labeled_dataset = lines_dataset.map(lambda ex: labeler(ex, i))
   labeled_data_sets.append(labeled_dataset)

代码信用-https://www.tensorflow.org/tutorials/load_data/text

输出结果

An empty list has been created
Iterate through the file names and create a dataset from text file using ‘TextLineDataset’ method

解释

• 使用“ TextLineDataset”，它从文本文件创建tf.data.A数据集。

• 每个示例都是原始文件中的一行文本

• “ text_dataset_from_directory”将文件的内容视为一个示例。

• 使用基于行的文本数据时，TextLineDataset很有用。

• 遍历这些文件并将每一行加载到其自己的数据集中。

• 每个示例都应单独标记，因此“ tf.data.Dataset.map”用于将标记函数应用于每行。

• 这将遍历数据集中的每个示例，并返回（示例，标签）对作为输出。