einführen
Nvidia, ein führender Anbieter von künstlicher Intelligenz (KI) und Grafikprozessoren (GPUs), hat kürzlich ein neues KI-Modell vorgestellt, das 2D-Videoclips in detaillierte 3D-Strukturen umwandeln kann. Dieses neue Modell ist vom berühmten Bildhauer und Maler Michelangelo inspiriert, der Marmorblöcke verwendete, um atemberaubende, lebensechte Bilder zu schaffen.
Das neue Modell basiert auf einem Papier von Nvidia Research und der Johns Hopkins University, das zur Conference on Computer Vision and Pattern Recognition (CVPR) 20231 angenommen wurde. Das Papier enthält weitere technische Details und eine Bewertung der Leistung und Einschränkungen von Neuralange. Dieses neue Modell heißt „Neuralange“.
Was ist ein Neuron?
Neuralange ist ein KI-Modell, das neuronales Rendering verwendet, um 3D-Szenen aus 2D-Videoclips zu rekonstruieren. Neuronales Rendering ist eine Technik, die Computergrafik und Deep Learning kombiniert, um realistische Bilder und Videos zu synthetisieren. Neuralange nutzt Instant Neural Graphics Primitives, die Technologie hinter Nvidias Instant NeRF, um feinere Details und Texturen komplexer Materialien wie Dachziegel, Glasscheiben und glatten Marmor zu erfassen. Neuralange kann auch mit sich wiederholenden Texturmustern, einheitlichen Farben und starken Farbvariationen umgehen, was für frühere Methoden eine Herausforderung darstellte.
Neuralange ist nicht nur ein nützliches Werkzeug für Kreativprofis, sondern auch ein neuer Ansatz für die 3D-Rekonstruktionsforschung. Neuralange ist eines der ersten Modelle, das große Szenen und kleine Objekte mithilfe neuronaler Darstellung mit hoher Wiedergabetreue rekonstruieren kann.
Hauptmerkmale der Neurolinguistik
Neuralange verfügt über mehrere Schlüsseleigenschaften, die es von anderen 3D-Rekonstruktionsmethoden abheben:
Es kann große Szenen rekonstruieren, beispielsweise Innen- und Außenbereiche von Gebäuden, aber auch kleine Objekte wie Statuen und Lastwagen.
Es bewahrt die ursprünglichen Licht- und Schatteneffekte von 2D-Videoclips und macht 3D-Strukturen realistischer und konsistenter.
Es erstellt hochauflösende 3D-Modelle mit komplexen Details und Texturen, die zur weiteren Bearbeitung in Designanwendungen importiert werden können