Наборы данных играют жизненно важную роль в информатике и науке о данных. Они используются для обучения и оценки моделей машинного обучения, исследования и разработки новых алгоритмов, улучшения качества данных, решения практических задач, продвижения научных исследований, поддержки визуализации данных и принятия решений. Наборы данных предоставляют обширную информацию для понимания и применения данных, тем самым поддерживая различные области приложений, включая здравоохранение, финансы, транспорт, социальные сети и многое другое. Правильный выбор и обработка наборов данных является ключевым фактором обеспечения успеха приложений, управляемых данными, и имеет важное значение для инноваций и решения сложных проблем. Таким образом, наборы данных являются не только основой для технологического развития, но и мощными инструментами для продвижения научного прогресса и принятия общественных решений.
Будь то распознавание изображений, обработка естественного языка, здравоохранение или любая другая область ИИ, эти наборы данных очень важны, поэтому в этой статье будут собраны 20 часто используемых и эффективных наборов данных.
MNIST : это классический набор данных для задач распознавания изображений, содержащий изображения рукописных цифр от 0 до 9, можно сказать, что это Hello World распознавания изображений.
CIFAR-10 : Другой популярный набор данных для распознавания изображений, CIFAR-10, содержит 10 различных классов объектов, таких как самолеты, автомобили и животные.
ImageNet : ImageNet, один из крупнейших наборов данных для распознавания изображений, содержит миллионы помеченных изображений в более чем 22 000 категориях.
COCO : этот набор данных обычно используется для задач обнаружения объектов и содержит более 300 000 изображений и более 2 миллионов экземпляров объектов, помеченных в 80 категориях.
городской пейзаж : набор данных для задач автономного вождения. Городской пейзаж содержит уличные сцены из разных городов с аннотациями на уровне пикселей для таких объектов, как автомобили, пешеходы и здания.
Pascal VOC : Еще один популярный набор данных для обнаружения объектов. Pascal VOC содержит изображения из реальных сцен с ограничивающими рамками объектов и метками классов объектов.
WikiText : крупномасштабный набор данных для языкового моделирования, содержащий более 100 миллионов токенов из статей Википедии. Если вы сравните Penn Treebank с WikiText-2, последний почти в два раза больше по размеру и количеству, чем первый. Для сравнения, WikiText-103 в 110 раз больше других версий.
Penn Treebank : широко используемый набор данных для задач обработки естественного языка. Penn Treebank содержит анализированный текст из The Wall Street Journal.
Вот сравнение двух наборов данных:
SNLI : Стэнфордский набор данных вывода естественного языка содержит 570 000 пар предложений, помеченных как следствие, противоречие или нейтральность. Он поддерживает системы рассуждения на естественном языке, которые также можно назвать RTE (распознавание текстовых последствий).
SQuAD : Стэнфордский набор данных ответов на вопросы содержит вопросы, заданные в статьях Википедии, а также соответствующие фрагменты текста ответов.
MIMIC-III : MIMIC-III — это большой набор электронных медицинских записей, содержащий различные клинические записи и диагностические данные более чем 40 000 пациентов.
Fashion-MNIST : вариант набора данных MNIST, Fashion-MNIST, содержит изображения предметов одежды вместо рукописных цифр. Набор данных Fashion-MNIST содержит изображения одежды Zalando, которые включают 60 000 обучающих образцов и 10 000 тестовых образцов.
CelebA : набор данных лиц знаменитостей с такими атрибутами, как возраст, пол и выражение лица. Этот набор данных помогает различным приложениям проверять распознавание лиц в качестве своей системы безопасности. Исходные данные этого набора данных были опубликованы MMLAB в Гонконге.
Kinetics : набор данных для распознавания действий человека. Kinetics содержит более 50 000 видеоклипов, на которых люди выполняют различные действия, такие как ходьба, бег и танцы. Каждый видеоролик имеет продолжительность 10 секунд и освещает 600 наборов человеческих действий.
Open Images : крупномасштабный набор данных для задач обнаружения объектов. Open Images содержит миллионы изображений, аннотированных более чем 600 категориями объектов.
LJSpeech : набор данных для синтеза речи, LJSpeech содержит 131 000 коротких аудиозаписей, где один динамик читает вслух газетные предложения. Спикеры тянут отрывки из 7 научно-популярных книг.
librispeech : набор данных для задач распознавания речи, librispeech содержит более 1000 часов записей, входящих в состав аудиокниг LibriVox, с соответствующими расшифровками.
AudioSet : набор данных для распознавания аудиособытий. AudioSet содержит записи более 527 типов звуков. Эти звуковые клипы имеют продолжительность 10 секунд. Он организован с использованием метаданных YouTube и контента, основанного на исследованиях.
NSynth : набор данных для синтеза музыкальных инструментов. NSynth содержит записи различных музыкальных инструментов с соответствующей информацией о высоте и тембре. Это набор мелодий, состоящий из 1006 музыкальных инструментов, в общей сложности создающий 305 979 прекрасных мелодий.
Шахматы : набор данных для прогнозирования шахматных матчей, содержащий данные из тысяч игр с такой информацией, как рейтинги игроков и последовательность движений шахматных фигур.
Наборы данных являются незаменимыми инструментами в области науки о данных и искусственного интеллекта и предоставляют базовые данные для обучения и оценки моделей, решения проблем и научных исследований. Выбор подходящего набора данных и выполнение эффективной обработки и анализа данных являются важными шагами для обеспечения успеха приложений, управляемых данными.
https://avoid.overfit.cn/post/8e58a98d26f04a00811257aebdd3e931