tf.data - 输入管道API (Input Pipeline API)

文件路径:python

TensorFlow → 学习 → TensorFlow 核心 → TF 2.0 Beta → tf.data - 输入管道API  api

https://tensorflow.google.cn/beta/guide/data分布式

该 tf.data API可以从简单的、可重用的 pieces 中建立复杂的输入管道complex input pipelines。ide

例如,图像模型的管道the pipeline for an image model 能够聚合来自分布式文件系统的数据,对每一个图像应用随机扰动,并将随机选择的图像合并到批处理中以进行训练。文本模型的管道可能涉及从原始文本数据中提取符号,将它们转换为使用查找表嵌入标识符,以及将不一样长度的序列批处理。学习

tf.data API 可以处理大量数据、不一样数据格式、且可以执行复杂的转换ui

tf.data API 引入 tf.data.Dataset 来抽象表示一系列元素a sequence of elements,其中每个元素由一个或者多个 Tensor 对象组成;如 in an image pipeline, 一个元素多是一个训练样本an element might be a single training example,其中一对张量表示图像及其标签a pair of tensors representing the image and its labelgoogle

建立数据集dataset有两种不一样的方法:spa

  • 将存储在内存中的一个或者多个文件数据造成的数据源构建成数据集Datasetcode

  • 将一个或者多个tf.data.Dataset对象经过数据转换构建成数据集Dataset对象

之后有时间继续补充学习,来自:https://tensorflow.google.cn/beta/guide/data

  关于切片
相关文章
相关标签/搜索