LHM – 阿里通义开源的单图快速生成可动画3D人体模型

近日，阿里通义实验室一项名为 LHM（大型可动画人体重建模型）的创新技术在3D 人体重建领域取得了重大突破，为该领域带来了全新的发展方向和应用前景。该模型能融合3D几何特征和2D图像特征，用注意力机制保留服装几何与纹理细节。该模型创新性地采用了多模态变换器架构，通过强大的注意机制，能够有效地对人体位置特征和图像特征进行编码。能够在几秒钟内，从一张简单的全身照片生成可动画的 3D 人类头像。

LHM是什么

LHM（Large Animatable Human Reconstruction Model）是阿里巴巴通义实验室推出的从单张图像重建可动画化3D人体模型。基于多模态Transformer架构，融合3D几何特征和2D图像特征，用注意力机制保留服装几何与纹理细节，推出头部特征金字塔编码方案增强面部细节恢复能力。LHM用3D高斯点云（Gaussian Splatting）形式表示重建的3D模型，支持实时渲染和姿态控制动画。模型能在几秒内生成高质量的可动画化3D人体模型，适用于AR/VR等沉浸式应用。

LHM的主要功能

• 快速重建：在几秒钟内完成从单张图像到3D可动画化模型的转换，无需复杂的后处理。
• 高保真细节：精确保留服装纹理、面部细节等关键信息，生成高质量的3D模型。
• 实时动画：支持基于姿态控制的实时动画渲染，适用于沉浸式应用（如AR/VR）。
• 泛化能力强：在开放环境（in-the-wild images）上表现出色，适应多种场景和姿态。

LHM的技术原理

• 多模态Transformer架构：基于Transformer架构融合3D几何特征（从SMPL-X模板采样得到的表面点）和2D图像特征（从预训练的视觉Transformer提取），有效处理几何和视觉信息。针对头部区域设计的多尺度特征提取方案，聚合不同层次的特征增强面部细节的恢复能力。
• 3D高斯点云表示：基于3D高斯点云（Gaussian Splatting）表示3D模型，支持实时、高质量的渲染。网络直接预测高斯点云的参数（如位置、旋转、缩放、颜色等），实现从输入图像到3D模型的快速转换。
• 自监督学习：基于大规模视频数据进行训练，用渲染损失和正则化项优化模型，无需依赖稀缺的3D扫描数据。在训练过程中，引入“尽可能接近”（as close as possible）和“尽可能接近球形”（as spherical as possible）的正则化项，保持3D模型的几何合理性。
• 实时动画支持：基于SMPL-X骨架参数将重建的3D模型变形到目标姿态，支持实时姿态控制动画。整个重建和动画化过程在单次前向传播中完成，适合实时应用。

LHM的项目地址

• 项目官网：https://lingtengqiu.github.io/LHM/
• GitHub仓库：https://github.com/aigc3d/LHM
• arXiv技术论文：https://arxiv.org/pdf/2503.10625
• 在线体验Demo：https://huggingface.co/spaces/DyrusQZ/LHM

LHM的应用场景

• 虚拟现实（VR）和增强现实（AR）：快速将照片转化为可动画化的3D虚拟角色，增强沉浸感和交互性。
• 游戏开发：快速生成高质量3D角色模型，支持实时动画，提升开发效率和游戏体验。
• 影视制作：用在特效制作和动画电影，快速生成角色模型，提升制作效率和质量。
• 社交媒体和内容创作：用户可生成3D虚拟形象用于社交媒体，创作者可快速生成3D角色用于短视频等。
• 教育和培训：创建虚拟教师或助教用于在线教育，生成3D模型用于医疗、军事等领域的模拟训练。