Процесс анализа больших данных:
1. Понимание бизнеса.
Определение возможности преобразования требований анализа в проекты анализа данных.
2. Сбор данных.
Извлеченные данные должны точно отражать потребности бизнеса.
3. Очистка данных.
Добавление недостающих значений атрибутов некоторых данных; унификация формата данных, кодирования и качества; обнаружение и удаление аномальных данных.
4. Управление данными
Классифицируйте, кодируйте, храните, индексируйте и запрашивайте данные; опытное управление файлами, база данных, хранилище данных, новая система управления данными в эпоху больших данных.
5. Анализ данных
Общий статистический запрос; извлечение конкретных закономерностей из данных; проведение прогнозного анализа.
6. Представление данных
(1) Создание визуального представления входных данных в соответствии с когнитивными законами
(2) Использование визуальной графики для представления скрытой информации и законов в данных
(3) Создание интерактивных представлений, включая визуализацию данных большого размера, Визуализация сетевых и иерархических данных, визуализация пространственно-временных данных, визуализация текстовых данных и т. Д.