Einmal pro Woche ein Überblick über die Trockenware im Bereich Audio- und Videotechnik.
Nachrichtenbeitrag: [email protected].
Der große Gott kehrt in die akademische Welt zurück: He Yuming kündigt an, dem MIT beizutreten
„Als FAIR-Forschungswissenschaftler werde ich 2024 der EECS-Fakultät der Fakultät für Elektrotechnik und Informatik des Massachusetts Institute of Technology (MIT) beitreten.“
He Yuming, der Erfinder von ResNet, ein bekannter Gelehrter auf dem Gebiet der KI, gab kürzlich auf seiner persönlichen Website bekannt, dass er bald in die Wissenschaft zurückkehren werde.
Metas neues Open-Source-Modell AudioCraft explodiert! Generieren Sie automatisch Musik aus Text
Am 3. August kündigte der globale Sozial- und Technologieriese Meta (die Muttergesellschaft von Facebook, Instagram usw.) das Open-Source-Musikmodell Audiocraft zur Textgenerierung an. Es wird berichtet, dass Audiocraft ein Hybridmodell ist, das aus MusicGen, AudioGen und EnCodec besteht. Hintergrundgeräusche wie Vogelrufe, Autohupen, Schritte oder komplexere Musik können nur aus Text generiert werden, was für Geschäftsszenarien wie Spieleentwicklung, soziale Netzwerke und Videosynchronisation geeignet ist.
Von „generativer KI“ bis hin zu „Produktivität“ steht die Amazon-Cloud-Technologie im Mittelpunkt
Amazon Cloud Technology hat in den letzten Jahren auf Erkenntnissen zur Kundennachfrage und der Anhäufung von Technologien gestützt und eine große Anzahl von KI-Funktionen in benutzerfreundliche Produkte integriert, in der Hoffnung, technologischen Fortschritt auf einfachste Weise in alle Lebensbereiche zu bringen. Bei diesem Technologie-Event stellte Amazon Cloud Technology gleich sieben neue generative KI-Funktionen vor.
Jetzt nutzen Entwickler still und leise KI-generierte Daten, um KI-Modelle zu trainieren. Der Grund ist – die von Menschen erstellten Daten sind wirklich zu teuer!
In der Vergangenheit wurden die meisten KI-Modelle anhand menschlicher Daten trainiert, doch mittlerweile nutzen immer mehr Unternehmen (darunter OpenAI, Microsoft und Start-ups wie Cohere) diese KI-generierten „synthetischen Daten“ oder haben Schwierigkeiten, herauszufinden, wie das geht Verwenden Sie KI-generierte Daten.
Der Umfang der ökologischen Abdeckung von Inhaltsanwendungen in China ist stetig gewachsen, und strukturelle Veränderungen haben sowohl ein Wachstum in der Videoform als auch in der Größe und Einprägsamkeit gezeigt. Der Konsum von ausführlichen Informationen und Inhalten hat zugenommen, was sich wiederum auf die Markenbekanntheit und Transformation auf Unternehmensebene auswirkt . Gleichzeitig verändert AIGC die Produktivität und die Content-Branche ist ökologisch vielfältig. Durch die tiefgreifende Integration in das Büro + Plattform-Empowerment sind Content-Assets zu einem der Kern-Assets des Unternehmens geworden, und der Content-Betrieb ist ein Muss.
Wie entwirft man einen KI-Chip? Übe von Meta!
Maschinelles Lernen (ML) ist bei Online-Events allgegenwärtig geworden. Diese Modelle haben in den letzten Jahren erheblich an Größe und Komplexität zugenommen und tragen dazu bei, die Genauigkeit und Gültigkeit von Prognosen zu verbessern. Gleichzeitig stellt dieses Wachstum jedoch erhebliche Herausforderungen an die Hardwareplattformen, die zum Trainieren und Ableiten dieser Modelle im großen Maßstab verwendet werden. Die Gesamtbetriebskosten (TCO) sind eine der Haupteinschränkungen bei der Inbetriebnahme von Modellen im Rechenzentrum, und die Stromversorgung macht einen erheblichen Teil der TCO dieser Plattformen aus. Infolgedessen ist die Leistung pro Gesamtbetriebskosten (und die Leistung pro Watt) zu einer wichtigen Messgröße für alle Hardwareplattformen geworden, die auf maschinelles Lernen abzielen.
Der MCU-Markt, auf dem drei Helden Seite an Seite stehen
Ein Mikrocontroller (Microcontroller Unit, MCU) ist eine Art Mikrocomputerchip, der Funktionen wie eine Zentraleinheit, Speicher, Ein- und Ausgabeschnittstellen und einen Timer integriert. Seit ihrer Einführung in den 1970er Jahren hat die MCU-Technologie in verschiedenen Bereichen große Erfolge erzielt und spielt im heutigen digitalen Zeitalter eine entscheidende Rolle. Erstaunlicherweise macht ein kleiner Mikrocontroller mehr als 80 % des Prozessormarktes aus! Da sich Halbleiterunternehmen auf der ganzen Welt an der Forschung, Entwicklung und Produktion der MCU-Technologie beteiligen, weist der MCU-Markt ein Muster der Diversifizierung und des harten Wettbewerbs auf.
Dieser Artikel besteht aus mehreren Antworten von Zhihu Gaozan und ich hoffe, dass er für Leser hilfreich sein wird, die sich Sorgen über die Anwendung von SLAM-Algorithmen im Bereich des autonomen Fahrens machen.
Die meisten vorhandenen visuellen SLAM-Methoden basieren stark auf statischen Weltannahmen, die in dynamischen Umgebungen leicht versagen können. In diesem Artikel wird ein semantisches RGB-D-SLAM-System in Echtzeit in dynamischen Umgebungen vorgeschlagen, das sowohl bekannte als auch unbekannte sich bewegende Objekte erkennen kann. Um den Rechenaufwand zu senken, führt es eine semantische Segmentierung nur für Schlüsselbilder durch, um bekannte dynamische Objekte zu entfernen, und behält statische Karten für eine robuste Kameraverfolgung bei. Darüber hinaus schlagen wir ein effizientes geometrisches Modul zur Erkennung unbekannter sich bewegender Objekte vor, indem wir Tiefenbilder in mehrere Regionen gruppieren und dynamische Regionen anhand ihrer Reprojektionsfehler identifizieren.
Hunderte Millionen Gedanken zum dynamischen visuellen SLAM
Visuelles SLAM in einer dynamischen Umgebung war schon immer der Schwerpunkt und die Schwierigkeit der Forschung, aber in letzter Zeit gibt es immer weniger Artikel zu dynamischem SLAM. Meiner Meinung nach liegt der Hauptgrund darin, dass der Rahmen für dynamisches SLAM gefestigt wurde und es schwierig ist große Innovationen hervorbringen. Die vorhandenen Vorlagen verwenden im Wesentlichen Zielerkennungs- oder semantische Segmentierungsnetzwerke, um dynamische Merkmalspunkte zu eliminieren, und verwenden dann geometrische Konsistenz zur weiteren Überprüfung. Der Autor denkt auch über aktuelle Durchbrüche nach, daher habe ich vor, die aktuellen Mainstream-Lösungen eingehend zu analysieren, in der Hoffnung, Inspiration zu finden.
F-LIC: Lernbasierte Bildkomprimierung mit FPGA-basierten feinkörnigen Pipelines
In jüngster Zeit hat die Lernbildkomprimierung (LIC) bemerkenswerte Fähigkeiten sowohl im Hinblick auf das Komprimierungsverhältnis als auch auf die Qualität des rekonstruierten Bildes gezeigt. Durch den Einsatz eines Variations-Autoencoder-Frameworks kann LIC die interne Vorhersage von VVC, dem neuesten traditionellen Codierungsstandard, übertreffen. Um die Codierung zu beschleunigen, verwenden die meisten LIC-Frameworks Gleitkommaoperationen auf der GPU. Wenn die Kodierung und Dekodierung jedoch auf verschiedenen Plattformen durchgeführt wird, führt die Nichtübereinstimmung der Gleitkomma-Operationsergebnisse auf verschiedenen Hardwareplattformen zu Dekodierungsfehlern. Daher ist ein LIC mit Festkomma-Arithmetik äußerst wünschenswert.
In diesem Artikel wird das FPGA-Design eines quantisierten 8-Bit-Festkomma-LIC vorgestellt. Im Gegensatz zu bestehenden FPGA-Beschleunigern schlägt dieses Papier eine feinkörnige Pipeline-Struktur vor, um eine höhere DSP-Effizienz zu erreichen. Darüber hinaus wurden kaskadierte DSP- und Zero-Skip-Unwrapping-Funktionen entwickelt, um die Hardwareleistung zu verbessern.
CVPR 2023 | Schätzung des B-Spline-Texturkoeffizienten in Bildschirmbild-Superauflösung
Mit der rasanten Entwicklung multimedialer Anwendungen ist Screen Content Image (SCI) häufig im täglichen Leben der Menschen aufgetaucht. Allerdings kommt es häufig zu Auflösungsunterschieden zwischen dem Anzeigegerät und SCI, und SCI weist die Eigenschaften dünner und scharfer Kanten auf, die sich stark von natürlichen Bildern unterscheiden. Allerdings werden die meisten Superauflösungsmethoden auf natürliche Bilder angewendet. Daher schlägt dieses Papier eine Superauflösungsmethode für SCI vor. In diesem Artikel schlagen wir einen B-Spline-Texturkoeffizientenschätzer (BTC) zur kontinuierlichen Darstellung von SCI unter Verwendung von INR vor, um die Koeffizienten, Knoten und Dilatationsparameter von B-Spline-Kurven aus Bildern mit niedriger Auflösung (LR) vorherzusagen. Anschließend werden die Koordinaten der Abfragepunkte in den durch 2D-B-Splines dargestellten Raum projiziert und dem MLP zugeführt. Durch die Nutzung der positiven Einschränkung und der engen Unterstützung von B-Spline-Basisfunktionen wird die durch Unterschwingen/Überschwingen verursachte Verzerrung an der Diskontinuität von SCI reduziert.
Zoom unterstützt offiziell AV1!
Im Zoom-Update vom 28. Juli (Ortszeit) heißt es im Abschnitt „Verbesserungen“ in den offiziellen Versionshinweisen: „Um eine höhere Videoqualität ohne erhöhte Bandbreitennutzung bereitzustellen, führt Zoom einen neuen Video-Codec zur kostenlosen Kontonutzung ein.“ Jetzt unterstützt Zoom unter Windows, macOS, Linux, Android und iOS alle AV1, den „Encoder der nächsten Generation“.
https://support.zoom.us/hc/en-us/articles/17763841523213-Release-notes-for-July-24-2023
BILIVVC belegte den dritten Platz im YUV-SSIM-Index mit 1 fps und 5 fps. Die Leistung des BILIVVC-Encoders zählt zu den besten unter vielen teilnehmenden Encodern.
Basierend auf dem H266-Kern implementiert der BILIVVC-Encoder die meisten vom VVC-Standard unterstützten Codierungstools und optimiert diese Codierungstools gleichzeitig erheblich. Im Vergleich zur Implementierung des Referenzcodes ist die Leistung jedes Tools auf BILIVVC Leistung ist effizienter.
Codec-Revolution basierend auf KI und NPU – kollaborative Innovation von VPU und NPU
In diesem sich schnell verändernden Zeitalter der digitalen Medien spielt die Codec-Technologie eine entscheidende Rolle bei der Video- und Audioverarbeitung. Der Aufstieg der KI hat für Codec beispiellose Chancen und Herausforderungen mit sich gebracht. Gleichzeitig hat die Entwicklung und kollaborative Innovation von VPU und NPU es Codec ermöglicht, sich besser an komplexe Szenarien und Bedürfnisse anzupassen und ein höheres Maß an Bild- und Tonverarbeitungsfähigkeiten zu erreichen .
LiveVideoStackCon2022 Beijing Station lud Herrn Kong Dehui, Direktor für Multimedia-Technologie des Center Microelectronics, ein, die Auswirkungen von KI und NPU auf Codec aus verschiedenen Perspektiven zu diskutieren, einschließlich Algorithmusoptimierung, Leistungsverbesserung und Verbesserung der Energieeffizienz. Gewinnen Sie ein tiefgreifendes Verständnis der Schlüsselfaktoren und potenziellen Chancen der KI- und NPU-basierten Codec-Revolution und fördern Sie Innovation und Entwicklung im Bereich der digitalen Medien weiter.
Streaming Media Ost 2023 | Über VVC
VVC (Versatile Video Codec) ist eine hybride Videocodierung, die auf HEVC basiert. Durch die Verbesserung der vorhandenen Technologie und das Hinzufügen einer Reihe von Tools, die in HEVC und früheren Codecs nicht verfügbar sind, wird seine Leistung im Vergleich zu HEVC subjektiv und objektiv verbessert. 30 % und 40+%. VVC ist auf eine Reihe von Szenen wie 8k, 360°, HDR usw. ausgerichtet und wird daher als multifunktionaler Videocodec bezeichnet.
Anwendung von VVC in der Cloud- und Browser-Wiedergabe
Versatile Video Coding (VVC) ist der neueste internationale Videocodierungsstandard, der gemeinsam von ITU-T und ISO/IEC entwickelt wurde. Obwohl VVC über einen breiten Funktionsumfang verfügt und in einer Vielzahl von Bereichen eingesetzt werden kann, kann VVC im Vergleich zu seinem Vorgänger High Efficiency Video Coding (HEVC) die Bitrate deutlich um etwa 50 % reduzieren und dabei die gleiche subjektive Videoqualität beibehalten. Nach Abschluss der Standardisierungsarbeiten im Juli 2020 wurden zahlreiche Aktivitäten gestartet, um VVC in praktische Anwendungen zu integrieren.
In diesem Dokument wird gezeigt, wie Sie einen praktischen Workflow mithilfe von VVC in einer Streaming-Anwendung implementieren. Wir zeigen, wie der VVC-Encoder des Fraunhofer VVenC auf die cloudbasierte Codierungslösung von Bitmovin angewendet werden kann. Außerdem wird detailliert beschrieben, wie sich VVC auf praktische Entscheidungen auswirkt, beispielsweise auf die Auswahl der besten Bitratenleiter, und Kosten und Leistung mit anderen Encodern verglichen werden. Abschließend wird gezeigt, wie der Fraunhofer-VVdeC-Decoder mit WebAssembly kombiniert wird, um die Möglichkeit zu realisieren, VVC-Videos in Echtzeit im Browser abzuspielen.
https://dl.acm.org/doi/10.1145/3510450.3517305
Das US-Patent- und Markenamt hat Apple offiziell ein Patent für die räumliche Audionavigation erteilt, das in zukünftigen AirPods, Datenbrillen und dem leichteren Vision Pro verwendet wird. Das System spielt Richtungsaudio über binaurale Audiogeräte ab, um Benutzern Navigationshinweise zu geben, die ihnen helfen, sich durch Einkaufszentren, andere Veranstaltungsorte oder Stadtparks zurechtzufinden. Das System kann dem Fahrer des Fahrzeugs auch eine Audionavigation bieten.
Das Ziel der sprachübergreifenden Spracherkennung (Cross-lingual Speech Recognition) besteht darin, die Ausspracheinformationen von Sprachen mit hohen Ressourcen zu nutzen, sie auf Sprachen mit geringen Ressourcen anzuwenden und die Leistung der Spracherkennung in Sprachen mit geringen Ressourcen zu verbessern. Es gibt mehr als 7.000 Sprachen auf der Welt, von denen die meisten nicht über ausreichende Anmerkungsdaten verfügen. Um die Herausforderung einer ressourcenarmen Spracherkennung zu meistern, ist die sprachübergreifende Spracherkennung eine effektive Lösung. Jüngste Studien haben gezeigt, dass auf der Grundlage unbeaufsichtigter Pre-Training-Technologie ein allgemeines Sprachdarstellungsmodell durch groß angelegtes Training an beschrifteten und unbeschrifteten Daten in verfügbaren Sprachen erstellt und durch Feinabstimmung auf die ressourcenarme Zielsprache übertragen werden kann , erzielte bemerkenswerte Ergebnisse.
Kürzlich veröffentlichte das Team für Sprach- und Sprachtechnologie der Tsinghua-Universität und der Universität für Post und Telekommunikation Peking den multimodalen Datensatz „Chinese Celebrity Multi-Scene Audio and Video Multimodal Dataset“ (CN-Celeb-AV) für Forscher in den Bereichen multimodale Audio- und Video-Identitätserkennung ( AVPR) verwenden. Dieser Datensatz enthält mehr als 419.000 Videoclips von 1.136 chinesischen Prominenten, die 11 verschiedene Szenarien abdecken, und bietet zwei Sätze von Standardbewertungssätzen, vollständig und unvollständig.
Mit der Aufrüstung elektronischer Produkte stellen Benutzer immer höhere Anforderungen an die Anrufqualität. Der Algorithmus zur Reduzierung des Anrufrauschens spielt eine Schlüsselrolle für die Anrufqualität. Die Verbesserung der Rechenressourcen hat es ermöglicht, Deep-Learning-Modelle auf tragbaren Chips mit geringem Stromverbrauch auszuführen, und die Reduzierung der Gerätekosten hat es IoT-Geräten ermöglicht, Knochenleitungssensoren zu verwenden. Wie können Deep Learning und traditionelle Algorithmen kombiniert werden? Wie kann der Knochenleitungssensor optimal genutzt werden? Wie lassen sich die Ergebnisse objektiver Tests in echte Benutzererfahrungen umsetzen? Dies ist auch eine neue Herausforderung für Anrufalgorithmen in der neuen Ära. Die LiveVideoStackCon 2022 Beijing Station hat den Lehrer Wang Linzhang eingeladen, uns die Anwendung und Herausforderungen von Algorithmen zur Anrufgeräuschreduzierung auf Mobiltelefonen und IOT-Geräten vorzustellen.
Der 15. XR-Videomodus – rechteckiger 3,5D-Videomodus
In diesem Jahr (2023) verfügt die Videoperspektive (VST) mit der Veröffentlichung von Apple Vision Pro über ein Benchmark-Produkt. Aufgrund des Werts von VST selbst gehe ich davon aus, dass es in Zukunft drei neue Fused-Reality-Videomodi auf dem Markt geben wird. 3,5D-Rechteck-Videomodus, durchsichtiger 3D-Panorama-Videomodus, virtueller und realer BR/MR-Spleißmodus.
Zusammenfassung der chinesischen Entwicklungs-Tutorials für Apple Vision Pro (Phase 3)
Dieser Artikel enthält 7 Video-Tutorials, darunter „Quick Look for Exploring Spatial Computing“, „Taking SwiftUI to the Next Dimension“ und „Safari for Spatial Computing“.
Aufgrund seiner Vorteile in Bezug auf Auflösung, Größe, Effizienz und Einbrennfestigkeit wird Micro-LED zu einem wichtigen Schwerpunktbereich für Hersteller von AR/VR-Headsets. Tatsächlich ist auch Microsoft besorgt und hat ein Patent namens „Micro-LED-Display“ angemeldet.
Die Halbleiter-Prozesskontrollausrüstung umfasst hauptsächlich „Front-End-Inspektion für die Wafer-Herstellung“ und „Middle-End-Inspektion für fortgeschrittene Verpackungen“. Die traditionelle Technologie integrierter Schaltkreise ist hauptsächlich in Front-End und Back-End unterteilt. Mit der kontinuierlichen Entwicklung und dem Fortschritt der Industrie für integrierte Schaltkreise hat sich die Back-End-Verpackungstechnologie zu Wafer-Level-Verpackungen entwickelt und daraus eine fortschrittliche Verpackungstechnologie abgeleitet.
OpenAI-Chefwissenschaftler Ilya Sutskever hatte kürzlich ein kurzes Gespräch mit seinem Freund Sven Strohband. Im Interview wurden hauptsächlich die folgenden Themen erwähnt: Glaube an Deep Learning, Vorstellung von AGI, ob Transformer gut genug ist, schockierende Emergenzfähigkeit, Sicherheit und Ausrichtung sowie zwei Vorschläge für Modellunternehmer.
Live-Übertragung + X – ein neuer Trend in der Live-Übertragungsbranche
Der Mensch ist ständig auf der Suche nach Gefühlen und Erfahrungen, was die rasante Entwicklung der Audio- und Videotechnologie vorantreibt, und Audio- und Videodienste werden von verschiedenen Branchen mit einem beispiellosen Trend stark nachgefragt. Live-Übertragung ist bereits heute ein Begriff, der jedem bekannt ist. Das Live-Übertragungsgeschäft und die Ökologie sowie wichtige unterstützende Technologien entwickeln sich ständig weiter und sind voller Vitalität. Diese LiveVideoStackCon 2023 Shanghai Station hat Huawei Cloud Lu Zhenyu eingeladen, mit Ihnen zu teilen, wie man in der Live-Übertragungsbranche „alte Bäume zu neuen Trieben wachsen lässt“.
Heute hat sich die Positionierung des kollaborativen Betriebssystems zwischen Mensch und Maschine bis in die Ära großer Modelle fortgesetzt. Jiang Sehr wichtige Strategie. Hohe Priorität.
Im Gegensatz zur Entwicklung inländischer Großmodelle befinden sich die meisten Unternehmen noch in der Phase der Suche nach Hotspots und haben keine wesentlichen Fortschritte erzielt. Ist Yuncong auch auf der Suche nach Krisenherden? Jiang Xun gab eine negative Antwort. Er sagte, dass wir immer noch unser kollaboratives Betriebssystem zwischen Mensch und Maschine untersuchen. Basierend auf der GPT-Technologie wird der IQ des kollaborativen Betriebssystems zwischen Mensch und Maschine immer höher werden. Dies wird nicht nur seine Obergrenze erhöhen, sondern auch die Kosten senken. Das System kann die Kunden weitgehend besser bedienen und auch der Wettbewerbsvorteil wird zunehmen.
LiveVideoStackCon 2023 Shenzhen hat begonnen
Das Thema der LiveVideoStackCon 2023 Shenzhen Station Audio and Video Technology Conference lautet „Immersion · New Vision“. Nach fast zehn Jahren rasanter Entwicklung entwickelt sich die Multimedia-Ökologie in Richtung Verfeinerung und Optimierung, wobei mehr auf Details und Kosten geachtet wird, und Involution und Seefahrt sind zu Druckauslässen geworden. Einerseits haben Unternehmen in einem Umfeld, in dem der bestehende Markt und der geschäftliche Wettbewerb immer noch recht hart sind, begonnen, mehr darauf zu achten, wie sie Kosten senken, höhere Gewinne erzielen und den Benutzern bessere Dienstleistungen und Erfahrungen bieten können; andererseits , für kontinuierlich Immer mehr neue Technologien und Szenarien entstehen, schrittweise erforscht und genutzt, um mehr Geschäft, Produkte und kommerziellen Wert zu schaffen, sind die Ziele, auf die Unternehmen weiterhin achten.
Dieses Mal planen wir in Shenzhen, Dutzende Experten auf dem Gebiet Audio und Video aus dem In- und Ausland einzuladen, zusammenzukommen, um ihre beruflichen Erkenntnisse mit Ihnen zu teilen.
▲ Klicken Sie auf „ Originaltext lesen “ ▲
Weitere Informationen finden Sie auf der offiziellen Website der LiveVideoStackCon 2023 Shenzhen Station