Tensorflow中使用tfrecord方式读取数据

使用Tensorflow训练神经网络时，咱们能够用多种方式来读取本身的数据。若是数据集比较小，并且内存足够大，能够选择直接将全部数据读进内存，而后每次取一个batch的数据出来。若是数据较多，能够每次直接从硬盘中进行读取，不过这种方式的读取效率就比较低了。此篇博客就主要讲一下Tensorflow官方推荐的一种较为高效的数据读取方式——tfrecord。

从宏观来说，tfrecord实际上是一种数据存储形式。使用tfrecord时，其实是先读取原生数据，而后转换成tfrecord格式，再存储在硬盘上。而使用时，再把数据从相应的tfrecord文件中解码读取出来。那么使用tfrecord和直接从硬盘读取原生数据相比到底有什么优点呢？其实，Tensorflow有和tfrecord配套的一些函数，能够加快数据的处理。实际读取tfrecord数据时，先以相应的tfrecord文件为参数，建立一个输入队列，这个队列有必定的容量（视具体硬件限制，用户能够设置不一样的值），在一部分数据出队列时，tfrecord中的其余数据就能够经过预取进入队列，而且这个过程和网络的计算是独立进行的。也就是说，网络每个iteration的训练没必要等待数据队列准备好再开始，队列中的数据始终是充足的，而往队列中填充数据时，也可使用多线程加速。

tfrecord的存储和读取看一下连接：

 http://blog.csdn.net/qq_16949707/article/details/53483493

http://www.360doc.com/content/17/0611/21/42392246_661965445.shtml