Logo Logo
deutsch
directory schraeg
Knowledge
Codecs
Hardware
Camcorders· Cinema-Kamera· Computers· Drohnen· GPU· Kamera-Zubehör· Video-DSLR· accessories
Software
Compositing· Color correction· DV Editing
DV-Movies

HowTo
Shooting· Sound
Misc
Forschung· KI· Reviews· Streaming
/// News
Soon to be cinematic? New NVIDIA AI creates high-definition videos

Soon to be cinematic? New NVIDIA AI creates high-definition videos

[10:28 Thu,20.April 2023   by ]    

Schneller als noch vor kurzem gedacht, verbessert sich die Qualität von Text-zu-Video-KIs. Waren vor kurzer Zeit vorgestellten Video-KIs wie Metas Make-a-Video, Googles Imagen und Phenaki oder das quelloffene VideoFusion noch beschränkt auf die Erzeugung kleiner (256 x 256 bzw. 128 x 128 Pixel) - nur Imagen erreichte 1.280 x 768 - erzielt die neue Video-KI von Nvidia jetzt Auflösungen von bis zu 1.280 x 2.048 Pixeln bei 24 fps und zeigt deutlich weniger temporale Artefakte bzw eine bessere Kohärenz zwischen den einzelnen Frames.


NVIDIA-KI-grid


Mitgearbeitet im Team von Forschern von NVIDIA haben mit Andreas Blattman und Robin Rombach zwei Experten der LMU München, die auch schon die Bild-KI Stable Diffusion mitentwickelten. Wie diese nutzt auch die neue Video-KI ein latentes Diffusionsmodell (LDM) für Standbilder. Aus dem Standbildgernerator wird ein Videogenerator, indem eine zeitliche Dimensions-Variable in das Diffusionsmodell mit eintrainiert wird. Da das genutzte Modell von Stable Diffusion Gewichten abgeleitet wurde, liegt die Output-Auflösung noch deutlich unter HD.



Therefore, the subsequent diffusion upsampler also gets a temporal component, which then leads to a temporally consistent video superresolution. With this concatenation, videos up to several seconds long with a resolution of up to 1,280 x 2,048 pixels are then possible with "reasonable" computing effort. The frame rate is up-sampled twice with the help of a special latent diffusion model to enable relatively smooth images at 24 fps.

NVIDIA-KI-model


A whole series of 4.7 second sample videos can be viewed at demo page in full 1,280 x 2,048 resolution if you open each in an extra window.

Also interesting is the ability to add your own objects to the synthesized videos via DreamBooth, thus personalizing the text-to-video AI:

NVIDIA-KI-Dreamboothed


There is also a very special use case in which the new method can even generate several minutes of coherent video - albeit only at a resolution of 512 x 1,024 pixels - namely videos of driving scenes in the wild. The following is a 9-second clip - the full 5-minute video can be found here.


Link more infos at bei research.nvidia.com

deutsche Version dieser Seite: Bald filmreif? Neue NVIDIA-KI erzeugt hochauflösende Videos per Texteingabe

  

  Vorige News lesen Nächste News lesen 
bildVon 12mm auf 28mm in 0,5s: Powerzoom NIKKOR Z DX 12-28 mm f/3,5-5,6 angekündigt bildDeity Theos Funkstrecke mit 32Bit Float Backup-Recording vorgestellt


related news:1E0The Paragraphica AI camera is here: taking pictures without a lens of the environment through AI? 5.June 2023
AMD's new Adrenalin drivers 23.5.1 double computing power in Stable Diffusion 3.June 2023
AI military drone kills operator to kill more effectively - in simulation 2.June 2023
Japan and Israel with liberal copyright positions on AI training 2.June 2023
Roll - virtual AI ministudio for interviews (iPhone and web) 1.June 2023
Making of - How the viral Wes Anderson AI videos are created 29.May 2023
Microsoft Olive: New free tool doubles performance of Stable Diffusion 24.May 2023
alle Newsmeldungen zum Thema KI
1E0AMD's new Adrenalin drivers 23.5.1 double computing power in Stable Diffusion 3.June 2023
Spacetop: Notebook mit virtuellem 100 19.May 2023
Now live streaming at 4K and 60 fps with Nvidia RTX 40 graphics cards. 8.May 2023
New NVIDIA AI can simulate tennis matches - using only TV images 7.May 2023
Radeon RX 7950 XTX and XT - AMD accidentally reveals RTX 4090 competitor 3.May 2023
NVIDIA RTX 5000 ADA - graphics card with 32 GB ram in the starting blocks 24.April 2023
Nvidia RTX 4070 ships - Good performance, but higher prices for the mid-range 14.April 2023
alle Newsmeldungen zum Thema Computers


[nach oben]
















Archiv Newsmeldungen

2023

June - May - April - March - February - January

2022
December - November - October - September - August - July - June - May - April - March - February - January

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































deutsche Version dieser Seite: Bald filmreif? Neue NVIDIA-KI erzeugt hochauflösende Videos per Texteingabe



last update : 6.Juni 2023 - 08:02 - slashCAM is a project by channelunit GmbH- mail : slashcam@--antispam:7465--slashcam.de - deutsche Version