tensorflow读取数据-tfrecord格式

https://www.baidu.com/link?url=tsBdnrP-tBdTvBS9wz1Dv2fk_VTDJBbXGjWmE8BsmWVB5KmfZzxSElS0wOwtMSF8tJkn7E5GvDRRpbrGwER_Eqm0rGbMy0Ms7kzklNUSihe&wd=&eqid=ad93bbd700060392000000065b2d00dd

概述:

关于tensorflow读取数据,官网给出了三种方法:

1、供给数据:在tensorflow程序运行的每一步,让python代码来供给数据
2、从文件读取数据:建立输入管线从文件中读取数据
3、预加载数据:如果数据量不太大,可以在程序中定义常量或者变量来保存所有的数据。

这里主要介绍一种比较通用、高效的数据读取方法,就是tensorflow官方推荐的标准格式:tfrecord

tfrecord数据文件是一种将图像数据和标签统一存储的二进制文件,能更好的利用内存,在tensorflow中快速的复制,移动,读取,存储等。
tfrecord文件包含了tf.train.Example 协议缓冲区(protocol buffer,协议缓冲区包含了特征 Features)。你可以写一段代码获取你的数据, 将数据填入到Example协议缓冲区(protocol buffer),将协议缓冲区序列化为一个字符串, 并且通过tf.python_io.TFRecordWriter class写入到TFRecords文件。tensorflow/g3doc/how_tos/reading_data/convert_to_records.py就是这样的一个例子。

猜你喜欢

转载自blog.csdn.net/qq_34638161/article/details/80779166