Слабая сетевая конфронтация LTR требует некоторой специальной обработки, когда она реализуется с помощью аппаратного декодера, поскольку для этого требуется обратная связь от декодера. Кроме того, некоторые аппаратные декодеры не идеально реализуют LTR, что может привести к ошибкам декодирования. Эта статья является третьей частью серии статей по оптимизации слабых сетей QoS, в ней подробно объясняется принцип защиты LTR от слабых сетей в политике QoS Alibaba Cloud RTC, а также подводные камни и соответствующие решения, возникающие при реализации жесткого решения для LTR.
Автор｜Ан Цзичэн, Тао Сенбай, Тянь Вэйфэн
Вычитка｜Тайи
Принцип защиты от слабых сетей Long Term Reference (LTR)
Восстановление I-Frame с потерянными опорными кадрами
В сцене RTC общая эталонная стратегия кодирования состоит в том, чтобы ссылаться на предыдущий кадр (без учета временного svc), потому что, как правило, чем меньше эталонное расстояние, тем лучше сходство и тем лучше эффект сжатия. Рассмотрите возможность кодирования только I-кадров и P-кадров, а не B-кадров. В случае потери P-кадра приемнику необходимо повторно запросить I-кадр, чтобы продолжить декодирование и правильное воспроизведение.
Как показано на рисунке выше, для нормального кодирования кадров IPPP, если слабая сеть приводит к потере кадра P (отметка ✖️) в середине и невозможности его восстановления, принимающая сторона попросит передающую сторону перекодировать I кадр, но I-кадр может использовать только внутреннее предсказание кадра, поэтому эффективность кодирования низкая.
Восстановление LTR для потерянных эталонных кадров
Долгосрочная система отсчета — это стратегия выбора системы отсчета между системами отсчета, которая нарушает традиционное ограничение на одну систему отсчета вперед и позволяет выбирать системы отсчета более гибко. Цель стратегии долгосрочного опорного кадра состоит в том, что в сценарии, когда P-кадры потеряны, приемник может продолжать правильно декодировать и воспроизводить без повторного запроса I-кадров.По сравнению с I-кадрами, это может значительно повысить эффективность кодирования и сэкономить пропускная способность. Эта технология может обходить потерянные кадры и использовать полученный долговременный эталонный кадр перед потерянным кадром в качестве эталона для отображения кодирования/декодирования, тем самым улучшая плавность видео в сценариях слабой сети.
На рисунке выше показана стратегия восстановления потери кадров после введения технологии LTR.Когда нет слабой сети, это по-прежнему нормальное кодирование кадров IPPP, но некоторые кадры P будут помечены как кадры LTR (зеленый кадр P на рисунок, далее обозначаемый как кадр маркера LTR). Если кадр P (метка ✖️) в середине слабой сети потерян и не может быть восстановлен, принимающая сторона запросит передающую сторону (кодер) использовать LTR для восстановления, а кодер будет использовать предыдущий кадр метки LTR, который было подтверждено получение. Создайте P-кадр в качестве опорного (красный P-кадр на рисунке, далее именуемый кадром восстановления LTR).
Поскольку предыдущий кадр с маркировкой LTR был подтвержден декодером, этот кадр должен существовать в буфере опорных кадров декодера, поэтому красный кадр P, который использует этот кадр в качестве опорного, должен быть правильно декодирован декодером. Поскольку кадр восстановления LTR является опорным P-кадром, эффективность кодирования I-кадра значительно повышается.
В соответствии с характеристиками и назначением вышеупомянутой технологии LTR можно видеть, что технология LTR представляет собой технологию выбора опорного кадра, реализованную в результате взаимодействия сетевого модуля и кодера. Для реализации технологии LTR требуется информация обратной связи принимающей стороны, то есть кадр маркера LTR (зеленый кадр P на рисунке), отправленный кодером. Если он успешно получен декодером, декодер должен уведомить кодер. что он получил этот кадр, так
что когда кодер получает запрос на восстановление LTR, он может «безопасно» использовать этот кадр в качестве ссылки.
Что касается LTR, то в первых двух статьях также есть введение. Заинтересованные читатели могут обратиться к:
2. "Aliyun RTC QoS слабое сетевое противостояние кодированию с переменным разрешением"
Аппаратное декодирование поддерживает LTR
Преимущества аппаратного декодирования
По сравнению с программным декодированием аппаратное декодирование имеет естественное преимущество в виде низкого энергопотребления, поэтому, если аппаратное декодирование доступно и не влияет на качество просмотра видео, предпочтение следует отдавать аппаратному декодированию.
Получить информацию, связанную с LTR, в потоке кода
Для программных декодеров разработчики могут напрямую реализовывать интерфейсы в декодере для считывания информации, относящейся к LTR, из кодового потока, например, является ли кадр кадром с маркировкой LTR и его номером кадра. Если кадр является кадром с маркировкой LTR, его номер кадра возвращается в кодировщик, чтобы указать, что он получил кадр.
Однако для аппаратного декодера разработчики программного обеспечения его интерфейса не могут модифицировать его, а аппаратные декодеры общего назначения не имеют интерфейса для считывания соответствующей информации LTR. Итак, как мы можем прочитать соответствующую информацию LTR?
Метод, используемый в этой статье, заключается в повторном анализе потока кода на уровне RTC вне аппаратного декодера, считывании информации, относящейся к LTR, и передаче ее обратно в кодировщик. Поскольку эта информация содержится в синтаксисе высокого уровня кодового потока, например в заголовке слайса, дополнительная обработка этой части кодового потока не требует больших затрат.
Некоторые жесткие решения не поддерживают LTR и решения
Поскольку вышеуказанные функции LTR не особенно часто используются в кодеках, некоторые производители аппаратных решений не реализовали функцию LTR должным образом.В ходе фактического процесса измерения в этой статье были обнаружены некоторые проблемы.
Если обычный P-кадр в красном прямоугольнике на приведенном выше рисунке не потерян, то LTR-кадр восстановления, то есть красный P-кадр, может быть правильно декодирован аппаратным декодером, протестированным в этой статье. Но если кадр P в красном кадре потерян, некоторые аппаратные декодеры не могут правильно декодировать последующий красный кадр восстановления LTR. В этой статье были протестированы некоторые мобильные телефоны и обнаружено, что мобильные телефоны, использующие чипы Apple, Qualcomm и Samsung, могут правильно декодировать, однако мобильные телефоны, использующие Huawei (Hisilicon) и некоторые чипы MediaTek, в настоящее время не могут правильно декодировать кадр восстановления LTR. и вернет ошибку декодирования или выведет размытый экран.
Когда на самом деле возникает слабая сеть, определенно будет потеря кадров, то есть кадр P в красном поле определенно будет потерян, поэтому, если кадр восстановления LTR не может быть декодирован в это время, это эквивалентно технологии LTR. недоступен для этих сложных решений вверх. Это должно быть вызвано реализацией самих аппаратных декодеров, то есть они не полностью реализованы по стандарту. Но как избежать этой проблемы?
Дальнейшее тестирование показало, что причина ошибки декодирования заключается в том, что номер кадра в красной рамке в середине потерян, что приводит к прерывистым номерам кадров.Если вы измените номера кадров последующих кадров, чтобы они были непрерывными, вы все равно сможете правильно декодировать! Поэтому решение в этой статье таково: для кадра кодового потока, перед отправкой его на какой-либо аппаратный декодер, если его номер кадра оказывается прерывистым с предыдущим, то непосредственно переписать кодовый поток, чтобы сделать его непрерывным, и затем отправьте его в жесткое решение, таким образом, можно избежать проблемы, связанной с тем, что некоторые жесткие решения не могут декодировать кадры восстановления LTR, чтобы сбалансировать энергопотребление и слабое качество сетевого видео.
«Облачная видеотехнология» — ваш самый примечательный публичный отчет об аудио- и видеотехнологиях. Каждую неделю он публикует практические технические статьи с передовой Alibaba Cloud и общается здесь с первоклассными инженерами в области аудио- и видеотехники.