prefácio
Ao treinar o modelo, o conjunto de dados MNIST é frequentemente usado para treinar o modelo, então como obter o conjunto de dados MNIST? Após a prática, o blogueiro resumiu a experiência, esperando ajudá-lo a usar o conjunto de dados MNIST na frente da tela.
Índice
1 Baixe o arquivo do conjunto de dados MNIST
2 Analise o arquivo idx3-ubyte
2.1 Analisando o conjunto de treinamento
2.2 Analisando o conjunto de teste
1 Baixe o arquivo do conjunto de dados MNIST
Como o conjunto de dados MNIST é liberado na rede externa, o download é relativamente lento, então o blogueiro colocou o MNIST no disco da rede Baidu
Link: https://pan.baidu.com/s/1V-4FOePbTyBG7qZ7ge_TqQ?pwd=dw2i
Código de extração: dw2i
Depois de baixar para o local, descompacte o pacote compactado do sufixo gz
Ele contém 4 arquivos, que são descritos em detalhes na tabela a seguir:
A fonte do gráfico é transferida de: MNIST Dataset_Keep Sensible 802's Blog-CSDN Blog_mnist Dataset
2 Analise o arquivo idx3-ubyte
Em seguida, precisamos converter o arquivo idx3-ubyte em um formulário de imagem
Converta o conjunto de treinamento e o conjunto de teste separadamente, o blogueiro usa pycharm
2.1 Analisando o conjunto de treinamento
train-images.idx3-ubyte e train-labels.idx1-ubyte são as imagens e rótulos do conjunto de treinamento, respectivamente, e o local do arquivo de dados/rótulo precisa ser modificado para o local onde seu conjunto de treinamento local é salvo.
import numpy as np
import struct
from PIL import Image
import os
data_file = r'D:\postgraduate\DUT\tpds\malicious_node\MNIST_data\train-images.idx3-ubyte'
# It's 47040016B, but we should set to 47040000B
data_file_size = 47040016
data_file_size = str(data_file_size - 16) + 'B'
data_buf = open(data_file, 'rb').read()
magic, numImages, numRows, numColumns = struct.unpack_from(
'>IIII', data_buf, 0)
datas = struct.unpack_from(
'>' + data_file_size, data_buf, struct.calcsize('>IIII'))
datas = np.array(datas).astype(np.uint8).reshape(
numImages, 1, numRows, numColumns)
label_file = r'D:\postgraduate\DUT\tpds\malicious_node\MNIST_data\train-labels.idx1-ubyte'
# It's 60008B, but we should set to 60000B
label_file_size = 60008
label_file_size = str(label_file_size - 8) + 'B'
label_buf = open(label_file, 'rb').read()
magic, numLabels = struct.unpack_from('>II', label_buf, 0)
labels = struct.unpack_from(
'>' + label_file_size, label_buf, struct.calcsize('>II'))
labels = np.array(labels).astype(np.int64)
datas_root = 'mnist_train'
if not os.path.exists(datas_root):
os.mkdir(datas_root)
for i in range(10):
file_name = datas_root + os.sep + str(i)
if not os.path.exists(file_name):
os.mkdir(file_name)
for ii in range(numLabels):
img = Image.fromarray(datas[ii, 0, 0:28, 0:28])
label = labels[ii]
file_name = datas_root + os.sep + str(label) + os.sep + \
'mnist_train_' + str(ii) + '.png'
img.save(file_name)
2.2 Analisando o conjunto de teste
t10k-labels.idx3-ubyte e t10k-labels.idx1-ubyte são as imagens e rótulos do conjunto de teste, respectivamente, e o local do arquivo de dados/rótulo precisa ser modificado para o local onde seu conjunto de teste local é salvo.
import numpy as np
import struct
from PIL import Image
import os
data_file = r'D:\postgraduate\DUT\tpds\malicious_node\MNIST_data\t10k-images.idx3-ubyte'
# It's 7840016B, but we should set to 7840000B
data_file_size = 7840016
data_file_size = str(data_file_size - 16) + 'B'
data_buf = open(data_file, 'rb').read()
magic, numImages, numRows, numColumns = struct.unpack_from(
'>IIII', data_buf, 0)
datas = struct.unpack_from(
'>' + data_file_size, data_buf, struct.calcsize('>IIII'))
datas = np.array(datas).astype(np.uint8).reshape(
numImages, 1, numRows, numColumns)
label_file = r'D:\postgraduate\DUT\tpds\malicious_node\MNIST_data\t10k-labels.idx1-ubyte'
# It's 10008B, but we should set to 10000B
label_file_size = 10008
label_file_size = str(label_file_size - 8) + 'B'
label_buf = open(label_file, 'rb').read()
magic, numLabels = struct.unpack_from('>II', label_buf, 0)
labels = struct.unpack_from(
'>' + label_file_size, label_buf, struct.calcsize('>II'))
labels = np.array(labels).astype(np.int64)
datas_root = 'mnist_test'
if not os.path.exists(datas_root):
os.mkdir(datas_root)
for i in range(10):
file_name = datas_root + os.sep + str(i)
if not os.path.exists(file_name):
os.mkdir(file_name)
for ii in range(numLabels):
img = Image.fromarray(datas[ii, 0, 0:28, 0:28])
label = labels[ii]
file_name = datas_root + os.sep + str(label) + os.sep + \
'mnist_test_' + str(ii) + '.png'
img.save(file_name)
3. Execute o arquivo py
Depois de executar os dois arquivos py acima, duas pastas serão geradas no diretório raiz do projeto:
Entre eles, mnist_train possui 6w imagens e minst_test possui 1w imagens.
Pronto, você pode começar a treinar o modelo! ! !