Отечественные крупномасштабные модели процветают, и по статистике в Китае выпущено 79 крупномасштабных моделей с более чем 1 миллиардом параметров. Массовое вычисление больших моделей выдвигает более высокие требования к хранению. Три основные болевые точки хранения ограничивают развитие вычислений крупномасштабных моделей: во-первых, медленная загрузка данных, что приводит к длительному времени обучения; во-вторых, разнообразие протоколов доступа к данным требует более высокой эффективности доступа к данным; риски требуют срочного внимания. Основываясь на этих болевых точках системы хранения данных, модель крупномасштабного хранения данных Sugon была обновлена и усовершенствована, а благодаря новой передовой технологии XDS она обеспечивает повышение эффективности, снижение затрат и обеспечение безопасности.
Повышение эффективности — первая технология XDS , совместная оптимизация хранения и вычислений для повышения эффективности
В этой итерации обновления решения для больших моделей компания Sugon ParaStor первой внедрила многоуровневую интеллектуальную технологию ускорения XDS, которая объединяет механизмы ускорения всех размеров и уровней вычислительной мощности и мощности хранения для создания эффективного хранилища. вычислительное сотрудничество.
В прошлом обучении ИИ, если смарт-чип хочет прочитать данные, он должен сначала сохранить данные в кеше, а затем отправить их на смарт-чип для чтения ЦП. Перенос ЦП и кеша приводит к снижению скорости извлечения данных. Технология XDS может напрямую загружать данные в смарт-чип, повышая скорость загрузки и обработки набора данных в процессе обучения. Новшество технологии XDS заключается в поддержке прямого доступа к нескольким смарт-чипам.Помимо графических процессоров, он также поддерживает прямой доступ к данным от смарт-чипов с несколькими вычислительными мощностями. Технология XDS упрощает процесс доступа, снижает нагрузку на ЦП и кэш-память и экономит аппаратные ресурсы.
Что касается хранилища, технология XDS имеет встроенный механизм ускорения ParaBuffer для создания большого пула памяти между вычислительными узлами для обучения ИИ и системами хранения, что повышает общую производительность ввода-вывода системы в несколько раз. Совместная оптимизация хранения и вычислений значительно сократила время обучения, которое можно сократить с десятков дней до нескольких дней.
Снижение затрат — несколько протоколов хранения и интеллектуальное оценивание, надежное и надежное управление данными
Кроме того, для решения проблем, связанных с различными протоколами доступа к данным, Sugon ParaStor одновременно поддерживает несколько протоколов хранения, таких как файлы и объекты, и может обеспечить унифицированную базу хранения для больших моделей. Чтобы реализовать управление жизненным циклом данных, Sugon ParaStor имеет интеллектуальную градацию потока горячих, горячих и холодных данных, поддерживает настраиваемые теги для данных и автоматически удаляет данные по истечении срока их действия.
Для обеспечения безопасности и надежности хранения данных ИИ Sugon ParaStor полагается на свои возможности самостоятельной разработки с полным стеком, чтобы обеспечить безопасность данных на нескольких уровнях, таких как операционная система, архитектура хранения, модули программного ядра и носители данных. Повысьте надежность хранения, сократите затраты на управление данными и избавьте пользователей от беспокойства и усилий.
В настоящее время Sugon Storage построила высокопроизводительный пул хранения NVMe all-flash уровня PB для отечественной платформы крупномасштабной модели единорога новой экономики с искусственным интеллектом.От аппаратных средств до программных систем производительность, надежность и безопасность отвечают требованиям. Эта область предлагает эффективные и экономичные, надежные и безопасные решения для хранения данных.