字节跳动开源 4D 视频生成框架 EX-4D7 月 3 日

EX-4D 是由字节跳动旗下 PICO-MR 团队开源的一款突破性 4D 视频生成框架,能够从单目视频生成高质量、多视角的 4D 视频序列。其核心技术深度密闭网格(DW-Mesh)无需多视角监督即可统一处理复杂场景拓扑,并结合预训练深度预测模型解决遮挡区域问题,确保极端视角下视频的物理一致性和细节完整性。EX-4D 还引入了两种 mask 生成策略,破解多视角训练数据稀缺难题。测试结果显示,EX-4D 在多项指标上全面超越现有开源方法,尤其在极端视角表现突出。该框架基于 WAN-2.1 模型和轻量级适配架构设计,适合资源受限环境运行。

企业微信二维码