TensorFlow2学习七之加载自制数据集

自制数据集

数据集路径

.\mnist_image_label

mnist_train_jpg_60000和mnist_test_jpg_10000存放训练集和测试集
mnist_test_jpg_10000.txt和mnist_train_jpg_60000.txt存放训练集和测试集标签

train_path = './mnist_image_label/mnist_train_jpg_60000/'     # 训练集图片路径
train_txt = './mnist_image_label/mnist_train_jpg_60000.txt'   # 训练集标签文件
x_train_savepath = './mnist_image_label/mnist_x_train.npy'    # 训练集输入特征存储文件
y_train_savepath = './mnist_image_label/mnist_y_train.npy'    # 训练集标签存储文件

test_path = './mnist_image_label/mnist_test_jpg_10000/'       # 测试集图片路径
test_txt = './mnist_image_label/mnist_test_jpg_10000.txt'     # 测试集标签文件
x_test_savepath = './mnist_image_label/mnist_x_test.npy'      # 测试集输入特征存储文件
y_test_savepath = './mnist_image_label/mnist_y_test.npy'      # 测试集输入标签存储文件

读入数据

标准数据集读入

mnist = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()

自制数据集读入

def generateds(path, txt):
    f = open(txt, 'r')  # 以只读形式打开txt文件
    contents = f.readlines()  # 读取文件中所有行
    f.close()  # 关闭txt文件
    x, y_ = [], []  # 建立空列表
    for content in contents:  # 逐行取出
        value = content.split()  # 以空格分开，图片路径为value[0] , 标签为value[1] , 存入列表
        img_path = path + value[0]  # 拼出图片路径和文件名
        img = Image.open(img_path)  # 读入图片
        img = np.array(img.convert('L'))  # 图片变为8位宽灰度值的np.array格式
        img = img / 255.  # 数据归一化 （实现预处理）
        x.append(img)  # 归一化后的数据，贴到列表x
        y_.append(value[1])  # 标签贴到列表y_
        print('loading : ' + content)  # 打印状态提示

    x = np.array(x)  # 变为np.array格式
    y_ = np.array(y_)  # 变为np.array格式
    y_ = y_.astype(np.int64)  # 变为64位整型
    return x, y_  # 返回输入特征x，返回标签y_