基于图像和三维点云快速建模软件,什么是基于图像建模

在Glow中,这种模型展示了其在图像生成和图像属性操控上的潜力:Glow实现的人脸图像属性操作 。相对于VAE和GAN,基于流的生成模型的优势是:可以用隐变量精确地建模真实数据的分布,即精确估计对数似然,得益于其可逆性 。而VAE尽管是隐变量模型,但只能推断真实分布的近似值,而隐变量分布与真实分布之间的gap是不可度量的,这也是VAE的生成图像模糊的原因 。
什么是“基于流的生成模型”,如何理解?

基于图像和三维点云快速建模软件,什么是基于图像建模


基于流的生成模型是继 GAN 和 VAE 之后的第三种生成模型,但这只是很多人的初步印象 。其实这种模型在 2014 年就被提出,比 GAN 还早,但仅在近期由于 OpenAI 提出了 Glow 模型才被人注意到 。基于流的生成模型具有可逆和内在并行性的优点 。实际上,生成模型可以分为四个类别:自回归、GAN、VAE、flow-based(基于流) 。
以图像生成为例,自回归模型需要逐像素地生成整张图像,每次新生成的像素会作为生成下一个像素的输入 。这种模型计算成本高,并行性很差,在大规模生成任务中性能有限 。WaveNet 就是一种自回归模型,最大的缺点就是慢 。其它典型的自回归模型还有 PixelRNN 和 PixelCNN 。此外,自回归模型也是可逆的 。
相对于自回归模型,基于流的生成模型的优势是其并行性 。相对于 VAE 和 GAN,基于流的生成模型的优势是:可以用隐变量精确地建模真实数据的分布,即精确估计对数似然,得益于其可逆性 。而 VAE 尽管是隐变量模型,但只能推断真实分布的近似值,而隐变量分布与真实分布之间的 gap 是不可度量的,这也是 VAE 的生成图像模糊的原因 。
GAN 是一种学习范式,并不特定于某种模型架构,并且由于其存在两个模型互相博弈的特点,理论的近似极限也是无法确定的 。基于流的生成模型却可以在理论上保证可以完全逼近真实的数据分布 。有这么多的优点,以一己之力轻松克服 WaveNet 的缺点也不是什么难事了 。基于流的生成模型可以大致理解为:它希望将数据表示成简单的隐变量分布,并可以从该分布中完全还原真实数据的分布 。
也就是说,它要学习的是一个可逆函数 。利用雅可比矩阵的这个性质:一个函数的雅可比矩阵的逆矩阵,是该函数的反函数的雅可比矩阵,NICE 和 RealNVP 提出了通过顺序的可逆函数变换,将简单分布逐步还原复杂的真实数据分布的归一化流过程,如下图所示 。后来在 Glow 中提出用 1x1 可逆卷积替换 NICE 和 RealNVP 中的可逆变换 。
【基于图像和三维点云快速建模软件,什么是基于图像建模】由于可以进行精确的密度估计,基于流的生成模型在很多下游任务中具备天然优势,例如数据补全、数据插值、新数据生成等 。在 Glow 中,这种模型展示了其在图像生成和图像属性操控上的潜力:Glow 实现的人脸图像属性操作 。训练过程中没有给模型提供属性标签,但它学习了一个潜在空间,其中的特定方向对应于胡须密度、年龄、头发颜色等属性的变化 。

    推荐阅读