3dav动漫( 二 )


3dav动漫


这种方法不需要搭建搭建具有多个视角摄像头的工作室,让普通人也能用上实时的3D演讲视频 。
作者指出,本文的主要贡献点在于:
1、从单眼视频中实时生成3D全身视频,可以在各种姿势和服装类型下构造出完全纹理的衣服,而不受拓扑约束 。
2、提出一种渐进式表面定位算法,可使表面重建比基线快两个数量级,而且不会影响重建精度,在速度和正确性之间做了很好的取舍 。
3、提出无需明确提取表面网格即可直接用于视图合成的渲染技术,进一步提高了整体性能 。
4、提出一种有效的训练技术,可解决合成生成的训练数据不平衡问题 。
和全息投影相比?
乍一看投影效果,是不是想到了马云今年在人工智能大会上,利用商汤全息投影完成的演讲?
3dav动漫


△ 来源于微博@澎湃新闻
虽然也是将人的影响投影到另一处场景中,不过二者的性质完全不同 。
全息投影成像的原理,是利用光的干涉和衍射,再现出物体真实的三维图像记录 。
而这次的虚拟答辩效果,实际上是利用AI将摄像头拍到的2D人物图像,转换成3D的效果 。
也就是说,二者无论是从原理、还是从设备需求来说都不一样 。
不仅如此,应用的场景也有所不同 。
全息投影更侧重于真实场景下「互动」的效果,也就是说,你在线下场景中,可以与一个投影出的3D版「真人」互动、或是听一场3D全息投影的演唱会等 。
3dav动漫


但这次的虚拟3D生成技术,则是侧重于在电子设备上将2D图像视频模拟出3D效果 。
无论是单薄的2D视频、还是无法利用视频呈现的2D照片,利用这项技术都可以还原出仿真的人物形象 。
也就是说,一台摄像机拍出来的普通2D效果,利用这项技术就能转换成效果斐然的3D图像 。
关于作者
用这项技术答辩的黄锃,本科毕业于上海交通大学ACM班 。而这项实时技术的主要贡献,则来自他合作的两位学弟 。
3dav动漫


这篇论文的两个同等贡献的第一作者,分别是两位黄锃的博士一年级学弟李瑞龙、修宇亮 。
李瑞龙毕业于清华基础科学班,在清华获得了物理和数学学士学位,以及计算机科学硕士学位 。
3dav动漫


修宇亮则毕业山东大学软件工程学院数字媒体技术专业,本科期间他还是专业第一,之后进入上海交大获得计算机硕士学位 。
3dav动漫


至于黄锃自己,他在高中时就曾获得全国中学生物理奥赛金牌,进入上海交大ACM班就读后,本科四年均获奖学金,还顺便在数学建模美赛(MCM)上拿了个一等奖 。
本科期间,黄锃曾在微软亚洲研究院实习,师从首席研究员曾文军,参与机器学习、深度神经网络相关的科研课题中 。
3dav动漫


△ 曾文军,图源:微软亚洲研究院
也是在这里,他开始深入地认识和掌握深度学习的核心概念和技巧,也开始认真思考机器学习的现状和发展 。
李瑞龙、修宇亮、黄锃均师从计算机图形学领域有名的黎颢教授,主要研究方向是结合几何处理和深度学习的虚拟人体重建 。

推荐阅读