Запись развертывания TritonServer нескольких моделей для ошибок с несколькими графическими процессорами

[Обзор конференции Юань Чуан] 1024 День программиста (за два дня до этого), встретимся в китайском офисе Open Source, поговорим об искусственном интеллекте! >>>

1. Как обнаружилась проблема

Проблемы, возникающие при развертывании chatglm2 и llama2 на машине с графическим процессором 4*V100.

config.pbtxt

Конфигурация экземпляра, настроенная для отдельного развертывания модели на указанном графическом процессоре, не вступает в силу.

Следующая конфигурация предназначена для развертывания этой модели на графическом процессоре 0, количество развертываний = 1 экземпляр, развертывание этой модели на графическом процессоре 1, количество развертываний = 2 экземпляра.

группа экземпляров [ { count: 1 вид: KIND_GPU графический процессор: [ 0 ] },

{ кол-во: 2

вид: KIND_GPU

графический процессор: [ 1 ] } ]

Во время развертывания было обнаружено, что все экземпляры модели будут развернуты на gpu0. Поскольку графический процессор имеет только 16 ГБ видеопамяти, после успешного развертывания первого экземпляра модели второй экземпляр модели также будет загружен на gpu0, что в конечном итоге приведет к выходу cuda из строя. Память.

Поиск в Интернете показал, что кто-то столкнулся с той же проблемой, ссылка: https://github.com/triton-inference-server/server/issues/6124 .

2. Подробный процесс устранения неполадок

Босс ответил на решение:

3. Как решить проблему

1. Вручную получите номер графического процессора, настроенный в config.pbtxt в model.py: [0]

группа_экземпляра [

{

количество: 1

вид: KIND_GPU

графический процессор: [ 0 ]

}

]

2.Установите доступный номер графического процессора.

os.environ["CUDA_VISIBLE_DEVICES"] = str(device_id)

3. Начните успешно

4. Подведение итогов и размышление: Можно ли обнаружить проблему быстрее, как избежать ее повторения и т. д.

При запуске Triton используйте nvidia-smi -l 2 для мониторинга видеокарты и памяти.Обнаружено, что все модели загружаются в первый графический процессор, gpu[0], и обнаружено, что конфигурация config.pbtxt не загружается. вступить в силу.

Автор: JD Technology Ян Цзянь

Источник: Сообщество разработчиков JD Cloud. При перепечатке указывайте источник.