1、知识点
""" 注意：在tensorflow当中，运行操作具有依赖性 1、CPU操作计算与IO计算区别： CPU操作： 1、tensorflow是一个正真的多线程，并行的执行任务 2、使用tfrecords对文件读取进行改善 IO操作： 1、一次性读取数据，消耗内存 2、一次性进行训练 2、队列API： 1、tf.FIFOQueue(capacity, dtypes, name='fifo_queue') 先进先出队列，按顺序出队列 capacity：整数。可能存储在此队列中的元素数量的上限 dtypes：DType对象列表。长度dtypes必须等于每个队列元素中的张量数,dtype的类型形状，决定了后面进队列元素形状 return:返回一个进队列操作 dequeue(name=None) #从队列获取一个数据 enqueue(vals, name=None) #将数据存放在队列 enqueue_many(vals, name=None):放入数据，其中vals列表或者元组 2、tf.RandomShuffleQueue 随机出队列 3、队列管理器：qr = tf.train.QueueRunner(Q,enqueue_ops=[en_q*2]) qr.create_threads(sess,start=True) #开启子线程 4、线程协调器：tf.train.Coordinator() ，线程协调员,实现一个简单的机制来协调一组线程的终止 返回对象方法： request_stop() should_stop() 检查是否要求停止 join(threads=None, stop_grace_period_secs=120) 等待线程终止 return:线程协调员实例 5、CSV文件读取步骤： 1、先找到文件，构造一个列表 file_name = os.listdir("./csvData/") file_list = [os.path.join(file) for file in file_name] 2、构造文件列队 3、构造阅读器，读取队列内容(一行) 4、解码内容 5、批处理(多个样本) 6、文件读取API-文件队列构造：tf.train.string_input_producer(string_tensor,,shuffle=True) 将输出字符串（例如文件名）输入到管道队列 参数： string_tensor 含有文件名的1阶张量 num_epochs:过几遍数据，默认无限过数据 return:具有输出字符串的队列 7、文件读取API-文件阅读器：根据文件格式，选择对应的文件阅读器 a) class tf.TextLineReader() 阅读文本文件逗号分隔值（CSV）格式,默认按行读取 return：读取器实例 b) tf.FixedLengthRecordReader(record_bytes)要读取每个记录是固定数量字节的二进制文件 record_bytes:整型，指定每次读取的字节数 return：读取器实例 c) tf.TFRecordReader 读取TfRecords文件 共同的读取方法：read(file_queue)：从队列中指定数量内容 ,返回一个Tensors元组（key文件名字，value默认的内容(行，字节)） 8、文件读取API-文件内容解码器：由于从文件中读取的是字符串，需要函数去解析这些字符串到张量 a) tf.decode_csv(records,record_defaults=None,field_delim = None，name = None) 将CSV转换为张量，与tf.TextLineReader搭配使用 records:tensor型字符串，每个字符串是csv中的记录行 field_delim:默认分割符”,” record_defaults:参数决定了所得张量的类型，并设置一个值在输入字符串中缺少使用默认值,如 b) tf.decode_raw(bytes,out_type,little_endian = None，name = None) 将字节转换为一个数字向量表示，字节为一字符串类型的张量,与函数tf.FixedLengthRecordReader搭配使用，二进制读取为uint8格式 9、开启线程操作 tf.train.start_queue_runners(sess=None,coord=None) 收集所有图中的队列线程，并启动线程 sess:所在的会话中 coord：线程协调器 return：返回所有线程队列 9、管道读端批处理： a) tf.train.batch(tensors,batch_size,num_threads = 1,capacity = 32,name=None) 读取指定大小（个数）的张量 tensors：可以是包含张量的列表 batch_size:从队列中读取的批处理大小 num_threads：进入队列的线程数 capacity：整数，队列中元素的最大数量 return:tensors b) tf.train.shuffle_batch(tensors,batch_size,capacity,min_after_dequeue,num_threads=1,) 乱序读取指定大小（个数）的张量 min_after_dequeue:留下队列里的张量个数，能够保持随机打乱 10、错误 OutOfRangeError (see above for traceback): FIFOQueue '_1_batch/fifo_queue' is closed and has insufficient elements (requested 9, current size 0) 解决方法：由于从上可知需要9个数据，但是读取为0，因此可能是数据有问题，即数据文件或者读取路径有问题 """
2、代码
# coding = utf-8 import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' def readCSVFile(filelist): """ 读取CSV文件 :param filelist: 文件路径+名字列表 :return: 读取的内容 """ #1、构造文件队列 file_queue = tf.train.string_input_producer(file_list) #2、构造CSV阅读器读取队列数据(读一行) reader = tf.TextLineReader() key , value = reader.read(file_queue) #3、对每行内容解码 #record_defaults:指定每一个样本的每一列的类型，指定默认值[["None"], [4.0]] records =[["None"],["None"]] example , label = tf.decode_csv(value,record_defaults=records) #批处理大小跟队列、数据的数量没有影响，只决定这批次取多少数据batch_size ##############批处理#################### #读取多个数据，就需要使用批处理 example_batch,label_batch = tf.train.batch([example,label],batch_size=20,num_threads=1,capacity=90) print(example_batch, label_batch) return example_batch,label_batch #return example,label ############队列################ def queue(): #1、首先定义数据 Q = tf.FIFOQueue(3,tf.float32) #2、放入数据 enq_many = Q.enqueue_many([[0.1,0.2,0.3],]) #定义一些数据处理的逻辑 out_q = Q.dequeue() out_q = out_q + 1 en_q = Q.enqueue(out_q) #运行会话 with tf.Session() as sess: #初始化队列 sess.run(enq_many) #处理数据 for i in range(100): sess.run(en_q) for i in range(Q.size().eval()): print(sess.run(Q.dequeue())) return None #############异步执行######################### def unasynQueue(): """ 异步读取 :return: """ #1、定义一个队列，1000 Q = tf.FIFOQueue(1000,tf.float32) #2、定义要做的事，并放入队列中 var = tf.Variable(0.0) #实现自增 data = tf.assign_add(var,tf.constant(1.0)) en_q = Q.enqueue(data) #3、定义队列管理器，指定多少个子线程，子线程做事 qr = tf.train.QueueRunner(Q,enqueue_ops=[en_q,]*2) #初始化变量OP init_op = tf.global_variables_initializer() with tf.Session() as sess: sess.run(init_op) # 开启线程管理器 coord = tf.train.Coordinator() #开启子线程 threads = qr.create_threads(sess,coord,start=True) #主线程不断读取数据 for i in range(300): print(sess.run(Q.dequeue())) #回收线程 coord.request_stop() coord.join(threads) return None if __name__ == '__main__': file_name = os.listdir("./csvData/") file_list = [os.path.join("./csvData/",file) for file in file_name] example_batch ,label_batch = readCSVFile(file_list) with tf.Session() as sess: # #定义一个线程协调器 coord = tf.train.Coordinator() # #开启读文件的线程 threads = tf.train.start_queue_runners(sess,coord=coord) #打印读取的内容 print(sess.run([example_batch,label_batch])) #回收线程 coord.request_stop() coord.join(threads)