Note de l'éditeur : Quelle est la taille du marché du streaming en direct ? Les données de 2021 montrent que plus de 70 % du marché mondial de la vidéo est dominé par le contenu en direct. Par rapport à la scène de diffusion en direct traditionnelle, la scène de diffusion en direct de nouvelle génération est principalement un modèle plusieurs à plusieurs, c'est-à-dire que tout le monde est l'ancre. Dans un tel scénario d'application en temps réel et interactive, faible latence, grande capacité et bande passante réduite... comment s'adapter à la pression des coûts induite par les nouveaux changements ? Quand la nouvelle architecture émergera-t-elle ? Avec de tels doutes, la LiveVideoStackCon2023 Shanghai Audio and Video Technology Conference a invité Xie Min, architecte de solutions système AMD AECG, à expliquer en détail l'architecture et les fonctions de base des cartes accélératrices vidéo AMD, ainsi que leurs applications dans les solutions vidéo dans divers domaines. .
Le marché du streaming interactif se développe rapidement.
Diffusion interactive en direct, jeux dans le cloud, achats en ligne... Alors que la diffusion vidéo en direct devient le courant dominant du marché de la vidéo, les utilisateurs sont à la fois des sources de données et des récepteurs. les centres sont sous pression. Cela rend imminente l'émergence d'une nouvelle génération de solutions de streaming multimédia.
Après Alveo U30, AMD a officiellement lancé une nouvelle carte accélératrice vidéo Alveo™ MA350D (ci-après dénommée MA350D) en avril de cette année.
Parmi eux, 35 représente la nouvelle génération de produits après Alveo U30, et D représente deux unités de traitement vidéo (doubles), qui peuvent traiter simultanément 32 flux vidéo 1080p.
En d'autres termes, le MA350D est conçu pour les médias de diffusion interactifs à grande capacité.
Xie Min a résumé pour nous les quatre avantages du MA350D : haute densité, faible latence, faible consommation d'énergie et intégration simple . Il peut fournir jusqu'à 32 canaux de densité de transcodage 1080p60 par carte avec une puissance de 1 W par flux ; le délai d'encodage 4K est aussi faible que 8 millisecondes, ce qui n'est que la moitié du temps de traitement conventionnel (16 millisecondes) ; prend en charge les appels directs en ligne de commande. de FFmpeg et Gstream , et prend également en charge l'API utilisateur basée sur XMA, ce qui est pratique pour le développement des utilisateurs.
Par rapport au produit de génération précédente Alveo U30, la densité de canaux du MA350D a été multipliée par 4, la consommation d'énergie a été réduite de 3 fois et le délai a été réduit de 4 fois.
L'IA analyse-t-elle le contenu vidéo pour obtenir deux fois le résultat avec la moitié de l'effort ?
Il convient de mentionner que lors du processus de conception du MA350D, AMD a introduit l'intelligence artificielle pour analyser le contenu de la vidéo. C'est en effet une bonne voie.Grâce aux capacités de l'intelligence artificielle et de l'apprentissage automatique, nous pouvons mieux comprendre les caractéristiques des vidéos, telles que la complexité et le type de vidéos, et améliorer l'efficacité du travail tout en garantissant la qualité.
"Avec les informations et l'intelligence obtenues par l'intelligence artificielle et l'apprentissage automatique, nous pouvons transmettre ce contenu dynamique à l'encodeur avec une plus grande efficacité. De cette façon, nous pouvons réduire la bande passante et le stockage lors du traitement vidéo dynamique. Il est nécessaire d'augmenter l'efficacité à le même temps."
Regardons une scène réelle comme celle-ci : dans les nouvelles générales du soir, il y aura un animateur diffusant à tout le monde sous la forme d'une grande image. Mais au cours de ce processus, il y aura soudainement des images dynamiques telles que le passage aux voitures ou aux événements sportifs, et enfin le passage à l'hôte. Lorsque l'hôte héberge l'écran, l'intelligence artificielle peut configurer l'encodeur pour réduire la bande passante, mais lors du passage à un événement sportif, des ajustements dynamiques en temps réel peuvent être effectués.
Pour deux images compressées au même débit, l'image sans technologie AI aura plus de défauts et une définition plus faible. Par conséquent, la technologie AI peut nous aider à trouver le visage, puis à allouer plus de bits dans la zone clé du visage et à réduire la configuration des bits dans d'autres zones. Sur cette image, la partie du visage est appelée la zone clé. L'IA peut être utilisée pour savoir quels sont les domaines clés et, lors du traitement, configurer différentes ressources. Cela permet aux clients ou aux fournisseurs de services de streaming multimédia d'effectuer une compression plus agressive et de réduire les débits binaires tout en maintenant la qualité .
Cependant, l'intelligence artificielle n'est pas parfaite, donc lors des ajustements dynamiques, il peut y avoir des erreurs de jugement. Par conséquent, une approche adoptée par AMD est le bloc IP d'analyse VQ. Dans le processus d'ajustement dynamique et de changement de l'intelligence artificielle, le module IP formera une boucle de rétroaction pour s'assurer que les décisions prises ne sont pas erronées. L'analyse VQ peut garantir la qualité de chaque image de la vidéo et peut être ajustée dans le temps si une erreur se produit.
AV1 a fait de grandes contributions
LiveVideoStack a remarqué qu'en plus de la prise en charge des H.264 et H.265 grand public, MA350D ajoute également la prise en charge de l'AV1 et dispose même de deux unités de codage distinctes pour l'AV1.
Xie Min a déclaré à LiveVideoStack qu'AV1 est une norme relativement nouvelle et une norme/format de codage sans droit d'auteur avec un taux de compression plus élevé.L'avantage est que les utilisateurs peuvent transmettre une meilleure qualité avec un flux de code à bande passante inférieure . Il existe quatre modules d'unité d'encodeur (MP) distincts prenant en charge la norme de compression AV1 aux quatre coins de la puce, de sorte que lors du déploiement d'une nouvelle norme de compression, les clients peuvent utiliser l'ancienne norme et ajouter de nouvelles normes en même temps .
"Bien sûr, le prix est que l'encodage et le décodage utilisent des calculs plus complexes, nécessitent plus de ressources CPU et entraînent un retard important. À l'heure actuelle, les avantages de l'unité d'encodage matériel AV1 sont mis en évidence, réduisant l'utilisation du processeur et fournissant des latence."
Selon les résultats des tests AMD, dans la même qualité visuelle, les économies de bande passante de l'encodeur AV1 peuvent atteindre 52 %.
Matt Frost, président de l'Alliance for Open Media, a déclaré :
« Les fournisseurs en direct recherchent des solutions AV1 à plus haute densité, à faible puissance et à faible latence, et en répondant à ces besoins, les membres de l'Alliance comme AMD contribuent au déploiement et à l'adoption globale de l'AV1.
De la carte multimédia avant les 586 à la carte accélératrice multimédia intégrée au contenu d'analyse vidéo IA aujourd'hui, la technologie matérielle audio et vidéo a connu un développement long et tortueux. Mais la roue de l'histoire ne s'arrête jamais, roulant toujours vers l'avant dans une direction plus haute, plus rapide et plus forte.
En savoir plus sur les produits et l'architecture Alveo MA35D et observer l'excellente démonstration des performances du codec qu'il apporte.Vous êtes invités à cliquer sur l'affiche ci-dessous pour participer au partage de technologie et à la démonstration en direct d'AMD.
▲Scannez le code QR dans l'image ou cliquez sur " Lire le texte original " ▲
Découvrez d'autres sujets passionnants de LiveVideoStackCon 2023 Shanghai Station