斯坦福大学推出的世界生成模型统一评估基准– WorldScore ，支持多模态内容生成任务

近日，斯坦福大学视觉与学习实验室团队发布全球首个世界生成模型统一评估基准 WorldScore。涵盖了三大类评估指标，动态静态都有涉及，其数据集中包含了3000个测试样例。WorldScore将3D场景生成、4D场景生成和视频生成三类模型的评估，统一到了一起。提出场景连续性生成任务，破解传统单帧评估的局限性。

WorldScore是什么

WorldScore 是斯坦福大学提出的用于世界生成模型的统一评估基准。将世界生成分解为一系列的下一个场景生成任务，通过明确的基于相机轨迹的布局规范来实现不同方法的统一评估。WorldScore 评估生成世界的三个关键方面：可控性、质量和动态性。基准包含精心策划的数据集，涵盖3000个测试样本，包括静态和动态、室内和室外、逼真和风格化的多样化世界。

WorldScore的主要功能

• 统一评估框架：WorldScore 提供了统一的评估框架，用于衡量不同世界生成模型的性能。将世界生成任务分解为一系列的下一个场景生成任务，通过明确的基于相机轨迹的布局规范来实现不同方法的统一评估。
• 评估维度：从可控性、质量和动态性三个关键方面对生成的世界进行评估。
• 多场景生成：WorldScore 是唯一支持多场景生成的基准测试，能评估模型在生成连续场景时的表现。
• 统一性：能统一评估3D、4D、图像到视频（I2V）和文本到视频（T2V）模型，提供了一个全面的评估框架。
• 长序列支持：支持生成多个场景，评估模型在长序列生成任务中的表现。
• 图像条件：支持基于图像的条件生成，适用于图像到视频的生成任务。
• 多风格：包含多种视觉风格的数据，能够评估模型在不同风格下的生成能力。
• 相机控制：评估模型对相机轨迹的遵循能力，确保生成的场景符合指定的相机运动。
• 3D一致性：评估场景在几何结构上的稳定性，确保生成的3D场景在不同视角下保持一致。

WorldScore的技术原理

• 多样化数据集：WorldScore 数据集包含动态和静态配置的多媒体数据，适用于图像到视频和图像到3D的任务。
  • 动态配置：包含图片、视觉运动、视觉风格、运动类型、风格、相机路径、物体和提示等字段。
  • 静态配置：包含图片、视觉运动、视觉风格、场景类型、类别、风格、相机路径、内容列表和提示列表等字段。
• 数据集规模：数据集分为训练集和测试集，其中动态配置有1000个样本，静态配置有2000个样本。
• 基于相机轨迹的布局规范：通过明确的基于相机轨迹的布局规范，实现不同方法的统一评估。
• 多模态数据支持：支持多种模态的数据，包括图像、视频和3D模型，适用于多模态内容生成任务。

WorldScore的项目地址

• 项目官网：https://haoyi-duan.github.io/WorldScore/
• Github仓库：https://github.com/haoyi-duan/WorldScore
• arXiv技术论文：https://arxiv.org/pdf/2504.00983
• HuggingFace数据集：https://huggingface.co/datasets/Howieeeee/WorldScore

WorldScore的基准测试比较

WorldScore 在多个方面与其他现有基准测试有所不同，以下是详细的对比：

WorldScore的应用场景

• 图像到视频生成：通过生成高质量的视频内容，应用于视频制作、动画设计等领域。
• 图像到3D生成：将2D图像转换为3D模型，用于虚拟现实、增强现实和3D建模等场景。
• 数据集支持：数据集包含动态和静态配置的多媒体数据，适用于多种任务，帮助研究人员优化和改进模型。
• 研究与开发：WorldScore 数据集为研究人员提供了标准化的测试平台，用于开发和验证新的3D/4D场景生成算法。
• 自动驾驶场景生成：通过生成逼真的3D场景，用于自动驾驶系统的训练和测试，帮助提高自动驾驶系统的安全性和可靠性。