对tensorflow中cifar-10文档的Read操作详解

2023-08-01 21:01:04 64

前言

在tensorflow的官方文档中得卷积神经网络一章，有一个使用cifar-10图片数据集的实验，搭建卷积神经网络倒不难，但是那个cifar10_input文件着实让我费了一番心思。配合着官方文档也算看的七七八八，但是中间还是有一些不太明白，不明白的mark一下，这次记下一些已经明白的。

研究

cifar10_input.py文件的read操作，主要的就是下面的代码：

ifnoteval_data:
filenames=[os.path.join(data_dir,'data_batch_%d.bin'%i)
foriinxrange(1,6)]
num_examples_per_epoch=NUM_EXAMPLES_PER_EPOCH_FOR_TRAIN
else:
filenames=[os.path.join(data_dir,'test_batch.bin')]
num_examples_per_epoch=NUM_EXAMPLES_PER_EPOCH_FOR_EVAL
...
filename_queue=tf.train.string_input_producer(filenames)

...

label_bytes=1#2forCIFAR-100
result.height=32
result.width=32
result.depth=3
image_bytes=result.height*result.width*result.depth
#Everyrecordconsistsofalabelfollowedbytheimage,witha
#fixednumberofbytesforeach.
record_bytes=label_bytes+image_bytes

#Readarecord,gettingfilenamesfromthefilename_queue.No
#headerorfooterintheCIFAR-10format,soweleaveheader_bytes
#andfooter_bytesattheirdefaultof0.
reader=tf.FixedLengthRecordReader(record_bytes=record_bytes)
result.key,value=reader.read(filename_queue)

...

ifshuffle:
images,label_batch=tf.train.shuffle_batch(
[image,label],
batch_size=batch_size,
num_threads=num_preprocess_threads,
capacity=min_queue_examples+3*batch_size,
min_after_dequeue=min_queue_examples)
else:
images,label_batch=tf.train.batch(
[image,label],
batch_size=batch_size,
num_threads=num_preprocess_threads,
capacity=min_queue_examples+3*batch_size)

开始并不明白这段代码是用来干什么的，越看越糊涂，因为之前使用tensorflow最多也就是使用哪个tf.placeholder()这个操作，并没有使用tensorflow自带的读写方法来读写，所以上面的代码看的很费劲儿。不过我在官方文档的How-To这个document中看到了这个东西：

Batching

defread_my_file_format(filename_queue):
reader=tf.SomeReader()
key,record_string=reader.read(filename_queue)
example,label=tf.some_decoder(record_string)
processed_example=some_processing(example)
returnprocessed_example,label

definput_pipeline(filenames,batch_size,num_epochs=None):
filename_queue=tf.train.string_input_producer(
filenames,num_epochs=num_epochs,shuffle=True)
example,label=read_my_file_format(filename_queue)
#min_after_dequeuedefineshowbigabufferwewillrandomlysample
#from--biggermeansbettershufflingbutslowerstartupandmore
#memoryused.
#capacitymustbelargerthanmin_after_dequeueandtheamountlarger
#determinesthemaximumwewillprefetch.Recommendation:
#min_after_dequeue+(num_threads+asmallsafetymargin)*batch_size
min_after_dequeue=10000
capacity=min_after_dequeue+3*batch_size
example_batch,label_batch=tf.train.shuffle_batch(
[example,label],batch_size=batch_size,capacity=capacity,
min_after_dequeue=min_after_dequeue)
returnexample_batch,label_batch

感觉豁然开朗，再研究一下其官方文档API就能大约明白期间意思。最有代表性的图示官方文档中也给出来了，虽然官方文档给的解释并不多。

API我就不一一解释了，我们下面通过实验来明白。

实验

首先在tensorflow路径下创建两个文件，分别命名为test.txt以及test2.txt，其内容分别是：

test.txt:

testline1
testline2
testline3
testline4
testline5
testline6

test2.txt:

test2line1
test2line2
test2line3
test2line4
test2line5
test2line6

然后再命令行里依次键入下面的命令：

importtensorflowastf
filenames=['test.txt','test2.txt']
#创建如上图所示的filename_queue
filename_queue=tf.train.string_input_producer(filenames)
#选取的是每次读取一行的TextLineReader
reader=tf.TextLineReader()
init=tf.initialize_all_variables()
#读取文件，也就是创建上图中的Reader
key,value=reader.read(filename_queue)
#读取batch文件，batch_size设置成1，为了方便看
bs=tf.train.batch([value],batch_size=1,num_threads=1,capacity=2)
sess=tf.Session()
#非常关键，这个是连通各个queue图的关键
tf.train.start_queue_runners(sess=sess)
#计算有reader的输出
b=reader.num_records_produced()

然后我们执行：

>>>sess.run(bs)
array(['testline1'],dtype=object)
>>>sess.run(b)
4
>>>sess.run(bs)
array(['testline2'],dtype=object)
>>>sess.run(b)
5
>>>sess.run(bs)
array(['testline3'],dtype=object)
>>>sess.run(bs)
array(['testline4'],dtype=object)
>>>sess.run(bs)
array(['testline5'],dtype=object)
>>>sess.run(bs)
array(['testline6'],dtype=object)
>>>sess.run(bs)
array(['test2line1'],dtype=object)
>>>sess.run(bs)
array(['test2line2'],dtype=object)
>>>sess.run(bs)
array(['test2line3'],dtype=object)
>>>sess.run(bs)
array(['test2line4'],dtype=object)
>>>sess.run(bs)
array(['test2line5'],dtype=object)
>>>sess.run(bs)
array(['test2line6'],dtype=object)
>>>sess.run(bs)
array(['test2line1'],dtype=object)
>>>sess.run(bs)
array(['test2line2'],dtype=object)
>>>sess.run(bs)
array(['test2line3'],dtype=object)
>>>sess.run(bs)
array(['test2line4'],dtype=object)
>>>sess.run(bs)
array(['test2line5'],dtype=object)
>>>sess.run(bs)
array(['test2line6'],dtype=object)
>>>sess.run(bs)
array(['testline1'],dtype=object)

我们发现，当batch_size设置成为1的时候，bs的输出是按照文件行数进行逐步打印的，原因是，我们选择的是单个Reader进行操作的，这个Reader先将test.txt文件读取，然后逐行读取并将读取的文本送到examplequeue(如上图)中，因为这里batch设置的是1，而且用到的是tf.train.batch()方法，中间没有shuffle，所以自然而然是按照顺序输出的，之后Reader再读取test2.txt。但是这里有一个疑惑，为什么reader.num_records_produced的第一个输出不是从1开始的，这点不太清楚。另外，打印出filename_queue的size:

>>>sess.run(filename_queue.size())
32

发现filename_queue的size有32个之多！这点也不明白。。。

我们可以更改实验条件，将batch_size设置成2，会发现也是顺序的输出，而且每次输出为2行文本（和batch_size一样）

我们继续更改实验条件，将tf.train.batch方法换成tf.train.shuffle_batch方法，文本数据不变：

importtensorflowastf
filenames=['test.txt','test2.txt']
filename_queue=tf.train.string_input_producer(filenames)
reader=tf.TextLineReader()
init=tf.initialize_all_variables()
key,value=reader.read(filename_queue)
bs=tf.train.shuffle_batch([value],batch_size=1,num_threads=1,capacity=4,min_after_dequeue=2)
sess=tf.Session()
tf.train.start_queue_runners(sess=sess)
b=reader.num_records_produced()

继续刚才的执行：

>>>sess.run(bs)
array(['test2line2'],dtype=object)
>>>sess.run(bs)
array(['test2line5'],dtype=object)
>>>sess.run(bs)
array(['test2line6'],dtype=object)
>>>sess.run(bs)
array(['test2line4'],dtype=object)
>>>sess.run(bs)
array(['test2line3'],dtype=object)
>>>sess.run(bs)
array(['testline1'],dtype=object)
>>>sess.run(bs)
array(['testline2'],dtype=object)
>>>sess.run(bs)
array(['test2line1'],dtype=object)
>>>sess.run(bs)
array(['testline4'],dtype=object)
>>>sess.run(bs)
array(['testline5'],dtype=object)
>>>sess.run(bs)
array(['test2line1'],dtype=object)
>>>sess.run(bs)
array(['testline3'],dtype=object)

我们发现的是，使用了shuffle操作之后，明显的bs的输出变得不一样了，变得没有规则,然后我们看filename_queue的size：

>>>sess.run(filename_queue.size())
32

发现也是32，由此估计是tensorflow会根据文件大小默认filename_queue的长度。注意这里面的capacity=4,min_after_dequeue=2这些个命令，capacity指的是examplequeue的最大长度，而min_after_dequeue是指在出队列之后，examplequeue最少要保留的元素个数，为什么需要这个，其实是为了混合的更显著。也正是有这两个元素，让shuffle变得可能。

到这里基本上大概的思路能明白，但是上面的实验都是对于单个的Reader，和上一节的图不太一致，根据官网教程，为了使用多个Reader，我们可以这样：

importtensorflowastf
filenames=['test.txt','test2.txt']
filename_queue=tf.train.string_input_producer(filenames)
reader=tf.TextLineReader()
init=tf.initialize_all_variables()
key_list,value_list=[reader.read(filename_queue)for_inrange(2)]
bs2=tf.train.shuffle_batch_join([value_list],batch_size=1,capacity=4,min_after_dequeue=2)
sess=tf.Session()
sess.run(init)
tf.train.start_queue_runners(sess=sess)

运行的结果如下：

>>>sess.run(bs2)
[array(['test2.txt:2'],dtype=object),array(['test2line2'],dtype=object)]
>>>sess.run(bs2)
[array(['test2.txt:5'],dtype=object),array(['test2line5'],dtype=object)]
>>>sess.run(bs2)
[array(['test2.txt:6'],dtype=object),array(['test2line6'],dtype=object)]
>>>sess.run(bs2)
[array(['test2.txt:4'],dtype=object),array(['test2line4'],dtype=object)]
>>>sess.run(bs2)
[array(['test2.txt:3'],dtype=object),array(['test2line3'],dtype=object)]
>>>sess.run(bs2)
[array(['test2.txt:1'],dtype=object),array(['test2line1'],dtype=object)]
>>>sess.run(bs2)
[array(['test.txt:4'],dtype=object),array(['testline4'],dtype=object)]
>>>sess.run(bs2)
[array(['test.txt:3'],dtype=object),array(['testline3'],dtype=object)]
>>>sess.run(bs2)
[array(['test.txt:2'],dtype=object),array(['testline2'],dtype=object)]

以上这篇对tensorflow中cifar-10文档的Read操作详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。

声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

对tensorflow中cifar-10文档的Read操作详解

热门推荐

随机推荐