最新论文:用GAN监督学习给左晃右晃的猫狗加表情,很丝滑很贴合


最新论文:用GAN监督学习给左晃右晃的猫狗加表情,很丝滑很贴合


12月19日消息,生成性对抗网络GAN又被开发出一项“不正经”用途 。给猫狗加表情:
给马斯克加胡子:
不管视频中的脑袋怎么左晃右晃,这些表情都能始终如一地贴合面部,且每一帧都表现得非常丝滑 。
这就是朱俊彦等人的最新研究成果:
一种利用GAN监督学习实现的密集视觉对齐(Visualalignment)方法 。
该方法的性能显著优于目前的自监督算法,在多个数据集上的性能都与SOTA算法相当,有的甚至还实现了两倍超越 。
用GAN监督学习实现密集视觉对齐
视觉对齐是计算机视觉中光流、3D匹配、医学成像、跟踪和增强现实等应用的一个关键要素 。
直白地说,比如在人脸识别中,就是不管一张脸是倒着立着还是歪着,任何角度都可以精确识别出哪块是眼睛哪块是鼻子 。
而开创性的无监督视觉对齐方法Congealing,在MNISTdigits这种简单的二值
首先,在未对齐的数据上训练生成器G 。
然后在生成器G的潜空间中通过学习模式c,来创建一个合成数据集以进行后续对齐 。
接着使用该数据集训练空间变换网络T(STN,SpatialTransformerNetworks),最后在预测和目标
因此作者也表示,GANgealing可以用在混合现实应用中 。
而在定量实验中,GANgealing在非常精确的阈值(<2像素误差容限)条件下优于现有的监督方法,在有的数据集上甚至表现出很大的优势 。
再在具有挑战的SPair-71K数据集上将GANgealing与几种自监督SOTA方法进行性能评估 。
比的则是PCK-Transfer值(PCK,percentageofkeypoints),它衡量的是关键点从源点击打开
代码:点击打开
项目主页:点击打开
以上就是爱惜日网?最新论文:用GAN监督学习给左晃右晃的猫狗加表情,很丝滑很贴合的相关内容了,更多精彩请关注作者:爱惜日知识
声明:本文由爱惜日网【创业者资源平台】作者编辑发布,更多技术关注爱惜日技术!
【最新论文:用GAN监督学习给左晃右晃的猫狗加表情,很丝滑很贴合】

    推荐阅读