鱼羊发自凹非寺
搞定这样的人脸3D建模需要几步？
在数据采集的阶段，答案是：一部手机+3.5分钟。
没错，仅凭这3.5分钟的数据，就足以生成高保真、可驱动的真实3D人脸头像。
这项研究来自MetaRealityLabs——就是扎克伯格元宇宙计划里的那个核心部门。论文已经被SIGGRAPH2022接收。
作者提到，这一方法适用于VR应用。
也就是说，在VR的世界里，以后你可能就不必顶着一张卡通脸登场了。
而是可以方便地与胖友们“真身”相见。
方法原理实现这一结果的方法框架如下图所示：
具体而言，分为三个部分。
首先，是要用大型多视角人脸数据集训练一个超网络，这个超网络可以通过神经网络解码器产生专属于个人的头像参数。
数据集中的人脸由多视角捕捉系统采集，包括255位不同年龄、性别和种族参与者的面部图像数据。
△左为图像捕获设备；右为采集到的人脸
这个捕获3D人脸的巨型装置是Meta在2019年研发的，其中配备171个高分辨率摄像头，每秒能记录180GB数据。采集时间在1个小时左右。
值得一提的是，在这个超网络中，解码器的基本组成模块是带有biasmap的卷积上采样层。
这些biasmap会被用来生成体积单元，进而通过射线追踪来渲染头像。
另外，该解码器结构能够将视线与其他面部活动区分开，这在VR应用中意味着能够更直接地利用眼动跟踪系统。
其次，是轻量级人脸表情捕捉。
在这项研究中，采集人脸只需要用到一部带有深度摄像头的智能手机。
实验中，研究人员采用的是iPhone12。
采集过程就像这样：
采集到的数据要进行如下处理：
获取每一帧人脸图像中的几何形状和纹理；对输入的RGB图像进行人脸标志检测和人像分割；对模板网格进行拟合和变形，以匹配检测到的人脸标志物、分割轮廓和深度图；对每一帧图像的纹理进行解包，而后汇总得到完整的人脸纹理。在进一步完善模型的过程中，还需要采集65种特定的表情：
最后，该方法输出的3D人脸头像不仅能与用户外观高度匹配，通过全局表情空间，还能对其进行进一步的驱动、控制。
研究人员表示，整个采集过程大概要花费3.5分钟。
不过需要说明的是，建模的过程不是实时的，数据处理还要花费数小时的时间。
实验结果说了这么多，效果如何，我们还是来看实验结果。
与Pinscreen提出的“一张照片构建3D数字化身”（CVPR2021）的方法相比，该方法能生成更具真实感的人脸模型。
而与海德堡大学、慕尼黑工业大学、马普所等研究机构在NeuralHeadAvatarsfromMonocularRGBVideos一文中提出的方法相比，该方法能生成保真度更高的结果。
参考链接：[1]论文：https://drive.google.com/file/d/1i4NJKAggS82wqMamCJ1OHRGgViuyoY6R/view[2]Demo：https://www.youtube.com/watch?v=t7_TMD7v0Xs
—完—
本文来自“轻颦浅笑”用户投稿，该文观点仅代表作者本人，不代表华夏信息网立场，本站不对文章中的任何观点负责，内容版权归原作者所有、内容只用于提供信息阅读，无任何商业用途。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站（文章、内容、图片、音频、视频）有涉嫌抄袭侵权/违法违规的内容，请发送邮件至1470280261#qq.com举报，一经查实，本站将立刻删除、维护您的正当权益。如若转载，请注明出处：http://www.xxxwhg.com/zh/104442.html
