PyTorch - 13 - 深度学习中的数据（重要）-人工智能的时尚MNIST
Why Study A Dataset?
让我们开始思考以下问题：为什么我们应该花时间研究数据集。数据是深度学习的主要成分，尽管作为神经网络程序员的任务是让我们的神经网络从数据中学习，但我们仍然有责任了解我们实际用于训练的数据的性质和历史。
计算机程序通常由两个主要组件组成，即代码和数据。在传统编程中，程序员的工作是直接编写软件或代码，而在深度学习和神经网络中，可以说软件本身就是网络本身，尤其是网络在训练过程中自动产生的权重。
通过培训来监督和指导学习过程是程序员的工作。我们可以将其视为编写软件或代码的间接方式。通过使用数据和深度学习，神经网络程序员可以生成能够执行计算的软件，而无需编写代码来明确执行这些计算。
因此，数据在开发软件中的作用正在发生变化，我们很可能会看到软件开发人员的作用也在发生变化。
以数据为中心的注意事项：
- 谁创建了数据集？
- 数据集是如何创建的？
- 使用了哪些转换？
- 数据集有什么意图？
- 可能的意外后果？
- 数据集是否有偏见？
- 数据集是否存在道德问题？
在实践中，获取和访问数据通常是深度学习中最困难的部分，因此在我们浏览此特定数据集时，请记住这一点。注意我们在此处看到的一般概念和想法。
What Is The MNIST Dataset?
MNIST数据集（修改后的美国国家标准技术研究院数据库）是著名的手写数字数据集，通常用于训练用于机器学习的图像处理系统。 NIST代表国家标准技术研究所。
MNIST中的M代表已修改，因为这是因为原始NIST数字数据集已被修改为MNIST。
MNIST因使用数据集的频率而闻名。常见的原因有两个：
- 初学者使用它是因为它很容易
- 研究人员使用它来基准（比较）不同的模型。
数据集包含70,000个手写数字图像，并按以下方式划分：
1.60,000张训练图像
2.10,000张测试图像
这些图像最初是由美国人口普查局员工和美国高中生制作的。
MNIST已经被广泛使用，并且图像识别技术已经得到了很大的改进，以至于数据集被认为太简单了。这就是创建Fashion-MNIST数据集的原因。
What Is The MNIST Dataset?
顾名思义，Fashion-MNIST是时装项目的数据集。 具体来说，数据集具有以下十种时尚项目类别：
| 索引 | 标签 |
|---|---|
| 0 | T恤/上衣 |
| 1 | 裤子 |
| 2 | 头衫 |
| 3 | 礼服 |
| 4 | 外套 |
| 5 | 凉鞋 |
| 6 | 衬衫 |
| 7 | 运动鞋 |
| 8 | 包 |
| 9 | 踝靴 |
正如我们在上一篇文章中看到的，这些项目的示例如下所示：
What’s The Origin Of Fashion-MNIST
Fashion-MNIST图片来自哪里？ Fashion-MNIST基于Zalando网站上的分类。 Zalando是一家德国跨国时装贸易公司，成立于2008年。
这就是为什么我们在GitHub URL上看到zalandoresearch的原因，其中可以下载Fashion-MNIST数据集。
Zalando Research是创建数据集的公司内部的团队。
在查看介绍数据集的论文时，我们将看到更多有关如何收集图像的信息，但首先，让我们回答另一个潜伏的问题。
关于时尚数据集的MNIST是什么？
What Puts The MNIST In Fashion-MNIST?
时尚MNIST数据集的名称中包含MNIST的原因是，创建者试图将其替换为Fashion-MNIST。
出于这个原因，Fashion数据集旨在尽可能接近原始MNIST数据集，同时由于与手写图像相比仅具有更复杂的数据而引入了更高的训练难度。
我们将在本文中看到Fashion-MNIST镜像原始数据集的特定方式，但是我们已经看到的一件事是类的数量。
MNIST– 有10个类别（每个数字0-9对应一个）Fashion-MNIST–有10个类别（这是有意的）
让我们检查一下文章。
Reading The Fashion-MNIST Paper On ArXiv
可以在这里找到该论文，并且要查看该论文，只需单击PDF链接。
关于该论文的第一件事是作者来自Zalando Research（Fashion-MNIST的起源）。
阅读论文摘要后，我们将了解为什么将数据集命名为Fashion-MNIST。
The Fashion-MNIST Paper’s Abstract
"We present Fashion-MNIST, a new dataset comprising of 28 by 28 grayscale images of 70,000 fashion products from 10 categories, with 7,000 images per category. The training set has 60,000 images and the test set has 10,000 images. Fashion-MNIST is intended to serve as a direct dropin replacement for the original MNIST dataset for benchmarking machine learning algorithms, as it shares the same image size, data format and the structure of training and testing splits. The dataset is freely available at
https://github.com/zalandoresearch/fashion-mnist." - arXiv paper
该数据集旨在替代原始MNIST。 通过使Fashion-MNIST数据集规范与原始MNIST规范相匹配，从旧版本到新版本的转换就可以轻松进行。 该论文声称，切换数据集所需的唯一更改是通过指向Fashion数据集来更改从MNIST数据集获取的URL。
本文还为我们提供了更多有关MNIST为何如此受欢迎的见解：
"The reason MNIST is so popular has to do with its size, allowing deep learning researchers to quickly check and prototype their algorithms. This is also complemented by the fact that all machine learning libraries (e.g. scikit-learn) and deep learning frameworks (e.g. Tensorflow, PyTorch) provide helper functions and convenient examples that use MNIST out of the box." - arXiv paper
PyTorch确实为我们提供了一个名为torchvision的软件包，使我们可以轻松地开始使用MNIST和Fashion-MNIST。
在下一篇文章中，我们将使用torchvision将训练集加载到我们的项目中。
How Fashion-MNIST Was Built
与MNIST数据集不同，时装集不是手工绘制的，但是数据集中的图像是Zalando网站上的实际图像。
但是，它们已被转换为更接近于MNIST规范。 这是站点中每个图像经过的常规转换过程：
- 转换为PNG
- 修剪
- 调整大小
- 锐化
- 扩展的
- 否定的
- 灰阶
要查看此过程的更详细说明，请务必查看本文的第二部分。
Accessing Fashion-MNIST With torchvision
总而言之，我们已经看到了Fashion-MNIST数据集的起源和历史，尽管该数据集在设计上要应对计算机视觉问题更具挑战性，但仍然是一个很好的起点。
我们将通过一个名为torchvision的PyTorch视觉库访问Fashion-MNIST，并构建我们的第一个神经网络，该网络可以在输入时尚图像的情况下准确预测输出类别。
下一个见。