FlowDirector：西湖大学AGI实验室开源的一款无需训练的视频编辑框架

FlowDirector是什么

FlowDirector是西湖大学AGI实验室开发的一款无需训练的视频编辑框架，它基于"流匹配"(Flow Matching)范式，能够将任意基于流的视频生成模型改造成有效的视频编辑工具，而无需任何重新训练。

传统视频编辑方法通常采用复杂的反演-去噪(inversion-denosing)范式，即通过DDIM Inversion将原始视频反演为对应的高斯噪声，再对此噪声重新采样并注入控制条件来实现编辑效果。这种方法存在三个主要问题：(1)时序不一致——反演误差会打破帧间连贯性；(2)结构失真——视频高维动态难以重建，背景容易"漂移"；(3)编辑幅度受限——无法同时兼顾大幅度语义变换与细节保真。

FlowDirector创新性地绕过了错误较多的反演阶段，直接在数据域构造ODE演化路径，让原视频平滑过渡到目标语义，从根本上解决了上述问题。该项目由中南大学软件工程本科生李光照作为第一作者，西湖大学AGI实验室助理教授张驰作为通讯作者共同完成。

功能特色

FlowDirector相较于传统视频编辑方法具有三大核心优势：

1. 编辑质量更高

FlowDirector能够进行更加彻底的对象编辑，允许产生大幅度的形变。传统方法由于反演误差的积累和重采样过程中的信息损失，往往只能实现有限的编辑效果，而FlowDirector通过直接流演化路径，可以保持视频的时序连贯性和结构完整性，实现更大幅度的语义变换。

实验数据显示，FlowDirector在Frame-Acc、Pick Score、CLIP-T和CLIP-F等关键指标上均达到SOTA水平，仅在WarpSSIM上略低，这是因为FlowDirector能够实现更大程度的语义变换，导致像素级的光流扭曲数值略低。对比FateZero、TokenFlow、VideoDirector等方法，FlowDirector在对象形变幅度、文本一致性、视觉细节与运动流畅度方面表现突出。

2. 功能更加广泛

FlowDirector不仅仅支持简单的对象替换，还能实现添加、删除、纹理替换转移等多种复杂的编辑功能。具体包括：

• 对象添加：在视频中插入新的物体或元素

• 对象删除：从视频中移除不需要的物体

• 属性修改：改变对象的颜色、材质等属性

• 纹理替换：替换对象表面的纹理

• 组合编辑：支持上述功能的任意组合操作

这些功能使得FlowDirector不仅适用于简单的视频修饰，还能完成复杂的创意视频制作任务。

3. 计算开销更低

FlowDirector在编辑过程中，除所用基础生成模型带来的显存开销外，不会添加任何额外的显存占用，单卡NVIDIA 4090就可实现高质量视频编辑。这主要得益于：

• 无反演过程：避免了存储额外的控制信息(如Attention Map)

• 高效算法设计：通过差分平均引导等技术优化计算效率

• 硬件友好架构：充分利用现代GPU的并行计算能力

传统视频编辑方法通常需要依赖大量计算资源进行模型训练，而FlowDirector通过优化算法和实时处理技术，直接在单卡上完成高质量视频编辑任务，甚至能够实现4K分辨率视频的实时编辑。

技术细节

FlowDirector的核心技术创新主要体现在两个方面：直接流演化与空间矫正(Spatially Attentive Flow Correction, SAFC)和差分平均引导(Differential Averaging Guidance, DAG)。

直接流演化与空间矫正(SAFC)

FlowDirector摒弃了传统先将视频映射到扩散模型潜在空间再编辑的繁琐流程，而是直接在特征空间构建"源视频→目标视频"的演化路径。这种方法避免了反演过程中的信息损失，但也带来了新的挑战——直接演化路径产生的编辑流会作用于全视频特征，导致无关区域发生意外变化。

为解决这一问题，研究团队提出了空间感知流矫正(SAFC)，通过定位并限制编辑视频中关键对象所在的空间区域，防止编辑流干扰无关区域。具体实现包括：

1. 注意力热图生成：识别视频中需要编辑的关键对象区域

2. 二值掩码创建：基于注意力热图生成精确的空间区域界定

3. 选择性流演化：仅在语义相关区域施加流演化，背景与非目标部分完全"冻结"

这种方法确保了编辑后视频的非目标区域结构与纹理完全不受影响，实现了背景100%保持的编辑效果。

差分平均引导(DAG)

在无反演直接编辑的场景中，原始视频往往会对最终效果施加过强的"控制信号"，导致修改后的视频中依然残留明显的原始物体轮廓或细节伪影。为解决这一问题，团队提出了差分平均引导(DAG)技术，其核心流程包括：

1. 并行采样：

• 高质量采样：对掩码校正后的差分速度场做多次(如4次)高质量采样，取平均得到精确速度估计

• 基线采样：用更少次数(如2次)生成一组基线速度

2. 差分信号计算：

• 将每个基线速度与高质量速度相减，得到差分信号

• 这些信号指示了"从原始视频到目标风格"所需的增量变化方向

• 有效抑制原始帧中残留的强控制成分(伪影)

3. 速度融合：

• 将所有差分信号求平均

• 按一定权重与高质量速度进行线性融合

• 保留高质量采样的细节与语义对齐

• 利用差分引导信号实现自动引导

DAG技术使FlowDirector在保证高保真度的同时，避免了冗长采样带来的算力瓶颈，实现了"画质优先、效率优先"的双重提升。

应用场景

FlowDirector的低门槛、高质量和广泛功能特点，使其适用于多个视频编辑相关领域：

1. 影视后期制作

• 特效添加：在实拍视频中添加CG元素

• 场景修改：调整场景中的物体布局或属性

• 错误修复：去除拍摄过程中不需要的物体或瑕疵

2. 短视频创作

• 创意表达：快速实现各种艺术风格的视频转换

• 内容优化：调整视频中的元素以增强表现力

• 快速迭代：支持多种编辑方案的快速尝试与比较

3. AR/VR内容生成

• 虚拟对象集成：将虚拟物体无缝融入实景视频

• 环境适配：调整虚拟对象属性以匹配实景环境

• 交互体验增强：创建更真实的混合现实体验

4. 电子商务与广告

• 产品展示：修改产品颜色、纹理等属性

• 场景适配：将同一产品置于不同使用场景中

• 快速原型：快速生成多种广告创意版本

FlowDirector的单卡4090即可运行的特点，使得小型工作室和个人创作者也能获得高质量的编辑能力， democratizing high-end video editing tools。

相关链接

1. 论文地址： https://arxiv.org/abs/2506.05046

2. 项目主页： https://flowdirector-edit.github.io/

3. 代码仓库： https://github.com/Westlake-AGI-Lab/FlowDirector

4. 在线演示： https://huggingface.co/spaces/Westlake-AGI-Lab/FlowDirector

总结

FlowDirector是西湖大学AGI实验室提出的创新性视频编辑框架，它通过摒弃传统的反演-去噪范式，采用直接流演化与空间矫正技术，配合差分平均引导算法，实现了无需训练的高质量视频编辑。该项目在编辑质量、功能多样性和计算效率三个方面均显著优于现有方法，支持单卡NVIDIA 4090上的4K视频实时编辑，使高质量视频创作的门槛大幅降低。FlowDirector的开源发布为视频编辑领域提供了新的技术思路和实用工具，其创新设计和技术实现值得相关领域研究者和从业者关注与应用。