Tensorflow实例2:将图像和标签数据(*.csv)转化成tfrecords文件，以便后续直接读取tfrecords文件进行图片验证码识别训练

版权声明：未经本人同意不得转载！ https://blog.csdn.net/yanpenggong/article/details/84679512

由于多张图像和标签值不在一起，现在此方法是把captcha_dir = "../data/GenPics/"此路径下的图片与此路径下的.csv文件合并起来，通过writer = tf.python_io.TFRecordWriter(path="./data/captcha.tfrecords")将数据以tfrecords格式写入到本地中，为了以后进行验证码图片训练做好准备。
具体操作步骤如下：

# -*- coding=utf-8 -*-
import tensorflow as tf
import os

os.environ["TF_CPP_MIN_LOG_LEVEL"] = '2'  # 只显示 warning 和 Error   

FLAGS = tf.app.flags.FLAGS
tf.app.flags.DEFINE_string("tfrecords_dir", "./data/captcha.tfrecords", "验证码tfrecords文件")
tf.app.flags.DEFINE_string("captcha_dir", "../data/Genpics/", "验证码图片路径")
tf.app.flags.DEFINE_string("letter", "ABCDEFGHIJKLMNOPQRSTUVWXYZ", "验证码字符的种类")


def get_captcha_image(captcha_dir):
    """
    获取验证码图片数据
    :param captcha_dir: 验证码图片路径
    :return: image
    """
    # 构造文件名
    filename = []

    for i in range(6000):
        string = str(i) + ".jpg"
        filename.append(string)

    # 构造路径+文件
    # file_list = [os.path.join(FLAGS.captcha_dir, file) for file in filename]
    file_list = [os.path.join(captcha_dir, file) for file in filename]

    # 构造文件队列
    file_queue = tf.train.string_input_producer(file_list, shuffle=False)

    # 构造阅读器
    reader = tf.WholeFileReader()

    # 读取图片数据内容
    key, value = reader.read(file_queue)

    # 解码图片数据
    image = tf.image.decode_jpeg(value)
    image.set_shape([20, 80, 3])

    # 批量处理数据 [6000, 20, 80,3]
    image_batch = tf.train.batch([image], batch_size=6000, num_threads=1, capacity=6000)

    return image_batch


def get_captcha_label(captcha_dir):
    """
    读取验证码图片标签数据
    :param captcha_dir: 验证码标签路径
    :return: label
    """
    # 构造标签数据文件路径
    captcha_dir = captcha_dir + "labels.csv"

    # 构造文件队列
    file_queue = tf.train.string_input_producer([captcha_dir], shuffle=False)

    # 构造阅读器
    reader = tf.TextLineReader()

    # 读取excel的label数据内容
    key, value = reader.read(file_queue)

    # 解码csv数据
    # records：指定矩阵格式以及数据类型
    # [1]中的1 用于指定数据类型，比如矩阵中如果有小数，则为float,[1]应该变为[1.0]。
    records = [[1], ["None"]]
    number, label = tf.decode_csv(value, record_defaults=records)

    # 批处理数据
    label_batch = tf.train.batch([label], batch_size=6000, num_threads=1, capacity=6000)

    return label_batch


def dealwuthlabel(label_str):
    """

    :param label_str:
    :return:
    """
    # 验证码字符串的种类
    letter = "ABCDEFGHIJKLMNOPQRSTUVWXYZ"

    # 构建字符索引 {0:'A', 1:'B', ...}
    num_letter = dict(enumerate(list(letter)))

    # 键值对反转{'A':0, 'B':1, ...}
    letter_num = dict(zip(num_letter.values(), num_letter.keys()))

    print(letter_num)

    # 构建标签到列表
    array = []

    # 给标签数据进行处理 [[b'NZPP'], ...]
    for string in label_str:
        letter_list = []  # [1, 2, 3, 4]

        # 修改编码，b'NZPP'到字符串，并且循环找到每张验证码的字符对应的数字标记
        for letter in string.decode("utf-8"):
            letter_list.append(letter_num[letter])

        array.append(letter_list)

    # [[13, 25, 15, 15], [22, 10, 7, 10], [22, 15, 18, 9], ...]
    # print(array)

    # 将array转换成Tensor类型
    label = tf.constant(array)

    return label


def write_to_tfrecords(image_batch, label_batch):
    """
    将图片内容和标签写入到tfrecords文件当中
    :param image_batch: 特征值
    :param label_batch: 标签值
    :return: None
    """
    # 转换类型
    label_batch = tf.cast(label_batch, tf.uint8)

    print(label_batch)

    # 建立TFRecords 存储器
    # writer = tf.python_io.TFRecordWriter(path=FLAGS.tfrecords_dir)
    writer = tf.python_io.TFRecordWriter(path="./data/captcha.tfrecords")

    # 循环将每一个图片数据构造example协议快，序列化后写入
    for i in range(label_batch.shape[0]):
        # 取出第i个图片数据，转换为相应类型，图片的特征值要转换为字符串形式
        image_string = image_batch[i].eval().tostring()

        # 标签值，转换成整型
        label_string = label_batch[i].eval().tostring()

        # 构造协议块
        example = tf.train.Example(features=tf.train.Features(feature={
            "image": tf.train.Feature(bytes_list=tf.train.BytesList(value=[image_string])),
            "label": tf.train.Feature(bytes_list=tf.train.BytesList(value=[label_string])),
        }))

        writer.write(example.SerializeToString())

    # 关闭文件
    writer.close()

    return None


if __name__ == '__main__':
    # 数据路径
    captcha_dir = "../data/GenPics/"

    # 获取验证码文件当中的图片
    image_batch = get_captcha_image(captcha_dir)

    # 获取验证码文件当中的标签数据
    label = get_captcha_label(captcha_dir)

    print(image_batch, label)

    with tf.Session() as sess:
        coord = tf.train.Coordinator()
        threads = tf.train.start_queue_runners(sess=sess, coord=coord)

        # [b'NZPP' b'WKHK' b'WPSJ' ... b'FVQJ' b'BQYA' b'BCHR']
        label_str = sess.run(label)
        print(label_str)

        # 处理字符串标签 转变为数字张量
        label_batch = dealwuthlabel(label_str)

        # 将图片数据和内容写入到tfrecords文件中
        write_to_tfrecords(image_batch, label_batch)

        coord.request_stop()
        coord.join(threads)