Googles beeindruckendes Lumiere zeigt uns die Zukunft der KI-gestützten Kurzvideoerstellung
3 min read
Mit Lumiere, einem neuen KI-Modell, das in der Lage ist, überraschend hochwertige Inhalte zu erstellen, geht Google einen weiteren Schritt in Richtung Text-to-Video.
Der Technologieriese hat seit den Tagen von Imagen Video sicherlich einen langen Weg zurückgelegt. Themen in Lumiere-Videos Sie waren nicht länger diese alptraumhaften Kreaturen mit schmelzenden Gesichtern. Jetzt scheinen die Dinge realistischer zu sein. Meeresschildkröten sehen aus wie Meeresschildkröten, das Fell der Tiere hat die richtige Textur und die Menschen in den KI-Clips haben (größtenteils) ein echtes Lächeln. Darüber hinaus gibt es nur sehr wenig seltsame ruckartige Bewegungen, die man bei anderen Text-zu-Video-KIs sieht. Die Bewegung ist ziemlich glatt wie Butter. Inbar Mosseri, Forschungsleiter bei Google Research Sie hat ein Video auf ihrem YouTube-Kanal gepostet Zeigen Sie Lumieres Fähigkeiten.
Google hat große Anstrengungen unternommen, um Lumiere-Inhalte so realistisch wie möglich erscheinen zu lassen. Dies gelang dem Entwicklungsteam durch die Implementierung der sogenannten Space-Time U-Net (STUNet)-Architektur. Die Technologie hinter STUNet ist sehr komplex. Aber Ars Technica erklärtDadurch kann Lumiere verstehen, wo sich Objekte im Video befinden, wie sie sich bewegen und verändern und diese Aktionen gleichzeitig anzeigen, was zu einer nahtlosen Erstellung führt.
Dies steht im Gegensatz zu anderen generativen Plattformen, die zunächst Keyframes in Clips erstellen und dann die Lücken füllen. Dadurch entsteht die ruckartige Bewegung, für die diese Technik bekannt ist.
Gut ausgestattet
Neben der Text-zu-Video-Konvertierung verfügt Lumiere über zahlreiche Funktionen in seinem Toolkit, darunter auch Multimedia-Unterstützung.
Benutzer können Quellbilder oder -videos auf die KI hochladen, damit diese sie gemäß ihren Spezifikationen bearbeiten kann. Sie können beispielsweise ein Foto hochladen Das Mädchen mit dem Perlenohrring von Johannes Vermeer und wurde in einen kurzen Clip umgewandelt, in dem sie lächelt, anstatt ausdruckslos zu starren. Lumiere verfügt außerdem über eine Fähigkeit namens Cinemagraph, mit der hervorgehobene Bildteile animiert werden können.
Google demonstriert dies, indem es einen Schmetterling identifiziert, der auf einer Blume sitzt. Dank künstlicher Intelligenz zeigt das resultierende Video, wie der Schmetterling mit den Flügeln schlägt, während die ihn umgebenden Blumen still bleiben.
Besonders beeindruckend wird es, wenn es um Videos geht. Video Inpainting, eine weitere Funktion, funktioniert ähnlich wie Cinemagraph, wo KI Teile von Clips bearbeiten kann. Das grün karierte Damenkleid kann in glänzendes Gold oder Schwarz verwandelt werden. Lumiere geht noch einen Schritt weiter und bietet einen Videomodus zum Wechseln von Videothemen. Ein gewöhnliches Auto auf der Straße kann in ein Fahrzeug verwandelt werden, das komplett aus Holz oder Legosteinen besteht.
Noch in Arbeit
Es ist nicht bekannt, ob es Pläne gibt, Lumiere der Öffentlichkeit zugänglich zu machen, oder ob Google beabsichtigt, es als neuen Dienst zu implementieren.
Vielleicht könnten wir sehen, dass KI auf einem zukünftigen Pixel-Telefon als Weiterentwicklung des Magic Editor erscheint. Falls Sie damit nicht vertraut sind: Magic Editor verwendet „KI-Verarbeitung“. [to] Bereiche oder Objekte in Fotos auf dem Pixel 8 „intelligent“ verändern. Video-Inpainting erscheint uns als eine natürliche Weiterentwicklung der Technologie.
Im Moment sieht es so aus, als würde das Team die Sache hinter verschlossenen Türen halten. Obwohl diese KI beeindruckend sein mag, hat sie dennoch ihre Probleme. Es ist eine ruckartige Animation vorhanden. In anderen Fällen sind die Gliedmaßen der Menschen etwas deformiert. Wenn Sie mehr erfahren möchten, finden Sie einen Google-Forschungsbericht über Lumiere unter Cornell University arXiv. Seien Sie gewarnt: Es ist eine dichte Lektüre.
Und schauen Sie sich unbedingt die Zusammenfassung der besten KI-Generatoren des Jahres 2024 von TechRadar an.
Sie können auch mögen
Explorer. Unapologetic Food Junkie. TV-Gelehrter. Schöpfer. Zombie-Nerd. Total Reiseliebhaber
