tensorflow学习笔记之tfrecord文件的生成与读取

时间:2021-05-22

训练模型时,我们并不是直接将图像送入模型,而是先将图像转换为tfrecord文件,再将tfrecord文件送入模型。为进一步理解tfrecord文件,本例先将6幅图像及其标签转换为tfrecord文件,然后读取tfrecord文件,重现6幅图像及其标签。
1、生成tfrecord文件

import osimport numpy as npimport tensorflow as tffrom PIL import Imagefilenames = ['images/cat/1.jpg','images/cat/2.jpg','images/dog/1.jpg','images/dog/2.jpg','images/pig/1.jpg','images/pig/2.jpg',]labels = {'cat':0, 'dog':1, 'pig':2}def int64_feature(values): if not isinstance(values, (tuple, list)): values = [values] return tf.train.Feature(int64_list=tf.train.Int64List(value=values))def bytes_feature(values): return tf.train.Feature(bytes_list=tf.train.BytesList(value=[values]))with tf.Session() as sess: output_filename = os.path.join('images/train.tfrecords') with tf.python_io.TFRecordWriter(output_filename) as tfrecord_writer: for filename in filenames: #读取图像 image_data = Image.open(filename) #图像灰度化 image_data = np.array(image_data.convert('L')) #将图像转化为bytes image_data = image_data.tobytes() #读取label label = labels[filename.split('/')[-2]] #生成protocol数据类型 example = tf.train.Example(features=tf.train.Features(feature={'image': bytes_feature(image_data), 'label': int64_feature(label)})) tfrecord_writer.write(example.SerializeToString())

2、读取tfrecord文件

import tensorflow as tfimport matplotlib.pyplot as pltfrom PIL import Image# 根据文件名生成一个队列filename_queue = tf.train.string_input_producer(['images/train.tfrecords'])reader = tf.TFRecordReader()# 返回文件名和文件_, serialized_example = reader.read(filename_queue)features = tf.parse_single_example(serialized_example, features={'image': tf.FixedLenFeature([], tf.string), 'label': tf.FixedLenFeature([], tf.int64)})# 获取图像数据image = tf.decode_raw(features['image'], tf.uint8)# 恢复图像原始尺寸[高,宽]image = tf.reshape(image, [60, 160])# 获取labellabel = tf.cast(features['label'], tf.int32)with tf.Session() as sess: # 创建一个协调器,管理线程 coord = tf.train.Coordinator() # 启动QueueRunner, 此时文件名队列已经进队 threads = tf.train.start_queue_runners(sess=sess, coord=coord) for i in range(6): image_b, label_b = sess.run([image, label]) img = Image.fromarray(image_b, 'L') plt.imshow(img) plt.axis('off') plt.show() print(label_b) # 通知其他线程关闭 coord.request_stop() # 其他所有线程关闭之后,这一函数才能返回 coord.join(threads)

到此这篇关于tensorflow学习笔记之tfrecord文件的生成与读取的文章就介绍到这了,更多相关tfrecord文件的生成与读取内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章