维其互联 > 信息聚合 > 一拖一拽小猫“活了”,Netflix 等噪声扭曲算法让运动控制更简单

一拖一拽小猫“活了”,Netflix 等噪声扭曲算法让运动控制更简单

2025-02-03 21:37:49来源: IT之家

在视频扩散生成领域,如何精准操控视频中的运动细节而又不牺牲画面质量,一直是研究者共同追逐的目标。来自 Neflix、Stony Brook 大学等机构的研究人员创新性地提出通过结构化的潜在噪声采样控制运动。实现方法很简单,只要对训练视频做预处理,生成结构化噪声。这一过程不涉及扩散模型的设计,无需改变其架构和训练流程。研究提出了一种全新的噪声扭曲算法,速度超快,能实时运行。它用光流场推导的扭曲噪声,取代随机的时序高斯噪声,同时保持了空间高斯性。由于算法高效,能用扭曲噪声以极小的成本微调视频扩散基础模型。这为用户提供了全面的运动控制方案,可用于局部物体运动控制、全局摄像机运动控制以及运动迁移等场景。此外,算法兼顾了扭曲噪声的时序一致性和空间高斯性,既能保证每帧画面的像素质量,又能有效控制运动。论文链接:https://arxiv.org/pdf/2501.08331本研究的贡献如下:创新的视频扩散模型解决方案:提出一种简单新颖的方法,将运动控制转化为可用于噪声变形的流场,在潜在空间采样时能直接使用。它不仅能与任意视频扩散基础模型搭配,还可和其他控制方式协同使用。高效的噪声变形算法:研发出高效的噪声变形算法,它既能保持空间高斯性,又能追踪跨帧的时间运动流。这让微调运动可控的视频扩散模型时,花费的成本最小,操作也更方便。实验和用户研究充分验证了该方法在各类运动控制应用中的优势。这些应用涵盖局部物体运动控制、运动传递到新场景、基于参考的全局相机运动控制等。在像素质量、可

关注公众号