узел данных
DataNode хранит и управляет информацией о блоках файлов пользователя
и регулярно передает информацию о блоках, которую он хранит, в NameNode (сообщается через информацию пульса).
DataNode не может взаимодействовать с NameNode, и существует период ожидания.
Запись потока данных
Свяжитесь с NameNode, чтобы подтвердить, что файл может быть записан, и получите
клиента DataNode, который принимает блок файла. Передайте файл блок за блоком соответствующему DataNode по порядку. DataNode
, получивший блок, копирует копию блока в другие DataNodes ( создание трубопровода)
Процесс чтения данных HDFS
Клиент отправляет путь к файлу для чтения на узел имени.
Узел имени получает метаинформацию файла (в основном информацию о месте хранения блока) и возвращает ее клиенту.
Клиент находит соответствующий узел данных на основе возвращенной информации. и получает блоки файла один за другим
локально на клиенте. Данные добавляются и объединяются для получения всего файла.
Хранение метаданных
Редактирование файла, журнал, добавление записи, добавление FsImage каждый раз при изменении метаданных,
зеркалирование файла, резервное копирование метаданных на диск.
Из-за проблем с эффективностью FsImage и Edits будут скопированы во Secondary NameNode для регулярного слияния, а изображение будет отправлено после слияние.