DiffPortrait3D:从照片创建 3D 头像

DiffPortrait3D:从照片创建 3D 头像

字节跳动的DiffPortrait3D提供了一种突破性的方法,可以从单个肖像中创建逼真、三维一致的视图,保持面部特征和表情。

其核心是,我们利用在大规模图像数据集上预先训练的 2D 扩散模型的生成先验作为我们的渲染主干,而去噪则是通过对外观和相机姿势的解开的细心控制来引导。为了实现这一点,我们首先将参考图像中的外观上下文注入到冻结 UNet 的自注意力层中。然后使用新颖的条件控制模块来操纵渲染视图,该模块通过从同一视图观看交叉主体的条件图像来解释相机姿势。

未经允许不得转载:表盘吧 » DiffPortrait3D:从照片创建 3D 头像