A new AI service that can translate videos into eight different languages, while also adjusting the lip movements of the speaker, has been making the rounds for a few days now. Basically, the thing is not new, but HeyGen Video Translate (still in beta) makes it extremely easy to use - the video to be translated is simply uploaded via drag/drop and after a waiting period the new video is ready.
Simple interface
HeyGen, it seems, relies on 
technology from ElevenLabs to generate the sound of the original voices in another language, while the translation presumably comes from ChatGPT. Whether the altered mouth movements are created in-house (à la Deepfake) is not entirely clear. Originally, HeyGen provides digital avatars that can be used in videos and recite a desired text (AI spokesperson video creator).
The automatic dubbing with the original voice works quite well. However, the text translation sounds faulty or awkward in some places, as can be heard in the following video from about 1:50 in the German version (there is talk of a "vowel translator", for example). Unfortunately, there is no possibility to correct the translation itself. The lip movement is also not perfect, but looks slightly out of sync, plus the picture is lightened.
According to HeyGen, the videos to be translated should preferably only show individual people and have little distracting noise in the background. Supported are MP4, Quicktime and WebM in resolutions between 360x360 and 4096x4096. The clips must also be at least 30s long, the maximum length is 5 minutes or 500MB.
Die Nutzung von HeyGen Video Translate ist probeweise kostenlos, man muss sich jedoch anmelden. Dann bekommt man einmalig 2 Credits zur Verfügung gestellt, die insgesamt für die Übersetzung von 2 Videominuten reichen; abgerechnet wird im 30-Sekundentakt. Danach gibt es verschiedene Abo-Pläne für 15 bis 120 Credits pro Monat, wobei ein Credit bei jährlicher Abrechnung 1,60 Dollar kostet. Wer einen bezahlten Account hat, wird in der Warteschlange für die Videoausspielung bevorzugt.
Im Mai hatte Google ja einen "Universal Translator" vorgestellt, der ziemlich genau die jetzt von HeyGen gebotene Funktionalität für YouTube-Videos bieten wird, jedoch noch nicht frei zugänglich ist.
;)
Drehbuchstreik in Hollywood endet nach 148 Tagen mit gutem Deal für Autoren - auch in Punkto KI
IMAX-Blockbuster The Creator mit 5.000 Euro Kamera gedreht - Sonys FX3