Logo Logo
deutsch
directory schraeg
Knowledge
Codecs
Hardware
Camcorders· Cinema-Kamera· Computers· Drohnen· GPU· Kamera-Zubehör· Video-DSLR· accessories
Software
Compositing· Color correction· DV Editing
DV-Movies

HowTo
Shooting· Sound
Misc
Forschung· Reviews· Streaming
/// News
Now also text-to-video AI from Google: Imagen Video

Now also text-to-video AI from Google: Imagen Video

[16:48 Thu,6.October 2022   by ]    

Nachdem gerade Meta seine Make-a-Video KI zur Generierung von Videos nach Textbeschreibung vorgestellt hatte, hat Google jetzt nachgezogen und mit Imagen Video auch eine solche KI veröffentlicht. Eigentlich ist dies sogar schon der zweite Text-2-Video Algorithmus von Google, da die zeitgleich mit Facebooks KI veröffentlichte Videogenerierungs KI Phenaki, die ursprünglich anonym veröffentlicht wurde auch von einem Google Team entwickelt wurde.


Google-Imagen-small
Google Imagen Video


Imagen Video kann - ganz analog zu den Bildgenerierungs KIs wie etwa Stable Diffusion, DALL-E 2 und Imagen - durch eine Kette von Diffusion Modellen nur anhand einer kurzen Textbeschreibung beliebige Objekte in einem beliebigen Bildstil erzeugen und diese sinnvoll animieren. Wie schon diese "versteht" auch Imagen Video Räumlichkeit und kann so Kamerafahrten durch dreidimensionale Räume produzieren, physikalisch korrekt die Beleuchtung von Szenen ändern (inklusive de Schattenwurfs) oder Objekte umkreisen oder diese rotieren.


Drone flythrough a tropical jungle covered in snow

Imagen Video erzeugt hochauflösende Videos durch eine Reihe kaskadierender Diffusionsmodelle. In einem ersten Schritt wird eine Eingabeaufforderung kodiert, dann generiert ein Basis-Video-Diffusionsmodell ein Video aus 16 Einzelbildern mit einer Auflösung von 24×48 Pixeln und 3 Bildern pro Sekunde; darauf folgen mehrere Modelle für temporale Super-Resolution (TSR) und räumliche Super-Resolution (SSR), um ein Upsampling durchzuführen und ein endgültiges 128-Bilder-Video mit einer Auflösung von 1280×768 und 24 Bildern pro Sekunde zu generieren - das Ergebnis ist dann ein 5.3 Sekunden langes hochauflösendes Video.

Die folgenden Beispielen (auf der Seite von Imagen Video finden sich noch mehr) demonstrieren schön die Fähigkeiten von Google Imagen Video was Raumverständnis, Korrektheit von Bewegungen, Beziehungen zwischen Objekten, Malstile oder auch von Texten angeht:


A Astronaut riding a horse


A cat eating food in a bowl in style of van Gogh


a drone flying through the interior of Sagrada Familia cathedral


a bunch of colorful candies falling into a try in the shape of "Imagen Video" smooth videol


teddy bear iceskating on times square


a drone flying through the interior of Sagrada Familia cathedral


Google Phenaki


Googles Phenaki ist im Vergleich zu Imagen Video ein komplementärer Entwurf, denn es besitzt eine viel geringere Auflösung (256 x 256), erlaubt aber dafür die Erzeugung von viel längeren Videos anhand von cinematischen Promptsequenzen wie etwa "Viel Verkehr in einer futuristischen Stadt. Ein außerirdisches Raumschiff kommt in der futuristischen Stadt an. Die Kamera geht in das Innere des Raumschiffs der Außerirdischen. Die Kamera bewegt sich vorwärts, bis sie einen Astronauten in einem blauen Raum zeigt. ".



Thus Phenaki can generate not only small animation clips, but (in the example over 2 minutes) long plan sequences , in which by camera movement or morphings from scene to scene is changed. The user thus becomes the director and scriptwriter of his own generated film. Phenaki gives despite the still low picture quality so actually best a view of the future of the films produced by users in interaction with text-2-video AIs.



A 30-second video (128x128 pixels with 8 fps) is generated in just 22 seconds, i.e. it is generated faster than it can be viewed (with better hardware in the future, of course, also in a higher resolution and frame rate). In this way, an individual film could be generated in real time while watching and thus react to user feedback, for example.

Unfortunately, Google has not yet published any source code for both algorithms - officially this is due to the fear that violent or pornographic content will be generated with Google algorithms - but work is being done on appropriate filters.

Link more infos at bei imagen.research.google

deutsche Version dieser Seite: Text-zu-Video KI jetzt auch von Google: Imagen Video

  

  Vorige News lesen Nächste News lesen 
bildSanDisk Professional PRO-G40 SSD: Externe SSD mit Thunderbolt 3, USB 3.2 Gen 2 und 2.700 MB/s bildKinefinity: Neue Firmware KineOS 7.1 bringt MAVO Edge Kameras neuen ProRes4444-Effizienzmodus und SDI-Funktionen


related news:1E0Heavy Metal meets Midjourney: Music video made from 10,000 AI-generated images 4.December 2022
Meta Encodec uses AI to compress audio files significantly more than MP3 21.November 2022
AI copies movie style of "Into the Spider-Verse" in record time 14.November 2022
MAXIM - AI tool combines various image enhancements in one model 13.November 2022
Blackmagic DaVinci Resolve 18.1 Update - with AI voice isolation 11.November 2022
Photostock portal Shutterstock gives an answer to the big question and integrates AI images 5.November 2022
AvatarCLIP: New AI generates and animates 3D avatars by text description 28.October 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]
















Archiv Newsmeldungen

2022

December - November - October - September - August - July - June - May - April - March - February - January

2021
December - November - October - September - August - July - June - May - April - March - February - January

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































deutsche Version dieser Seite: Text-zu-Video KI jetzt auch von Google: Imagen Video



last update : 6.Dezember 2022 - 16:00 - slashCAM is a project by channelunit GmbH- mail : slashcam@--antispam:7465--slashcam.de - deutsche Version