生成模型指在现存样本的基础上,使用模型来生成新案例,比如,基于现存的照片集生成一组与其相似却有细微差异的新照片。
GAN是使用两个神经网络模型训练而成的一种生成模型。其中一个称为“生成器”或“生成网络”模型,可学习生成新的可用案例。另一个称为“判别器”或“判别网络”,可学习判别生成的案例与实际案例。
两种模型(从博弈论的意义上来说)处于一种竞争状态,生成器企图愚弄判别器,而判别器则要同时处理生成案例和实际案例。
经学习,生成模型可生成所需的新案例。
生成对抗网络具有极为具体的使用案例,一开始这些案例理解起来会有些困难。
本文将回顾大量GAN的有趣应用,有助于你了解其能够解决的案例类型。以下列表或许并不完整,但其中包含了许多媒体介绍过的GAN使用案例。
应用案例可划分为以下18种类型:
2014年,Ian Goodfellow等人发表论文《对抗式生成网络》,提出了生成新案例这一应用。文中指出,GAN可为MNIST手写数码数据集、CIFAR-10小件图片数据集、多伦多人像数据集生成新案例。
论文传送门:https://arxiv.org/abs/1406.2661
论文传送门:https://arxiv.org/abs/1511.06434
论文传送门:https://arxiv.org/abs/1710.10196
论文传送门:https://arxiv.org/abs/1802.07228
论文传送门:https://arxiv.org/abs/1809.11096
金杨华(音译)等人于2017年发表了题为《用GAN生成动画角色》的论文。论文展示了如何训练及应用GAN来生成动画头像(如日本动漫人物)。
论文传送门:https://arxiv.org/abs/1708.05509
GAN在这方面几乎无所不能,因为相关论文显示GAN可以执行许多图像转换任务。
Phillip Isola等人于2016年发表题为《使用GAN技术进行图像转换》的论文。论文特别介绍了如何使用GAN的pix2pix技术进行图像转换。
论文传送门:https://arxiv.org/abs/1611.07004
以下是一些图像转换案例:
· 将语义图像转化成城市和建筑景观图片
· 将卫星图像转化成谷歌地图
· 将白天景观转化成夜晚景观
· 将黑白图片转化成彩色图片
· 将素描转化成彩色图片
论文传送门:https://arxiv.org/abs/1703.10593
以下是一些图像转换案例:
· 将图片转化成艺术绘画风格
· 将马的图片转化成斑马图
· 将夏景转化成冬景
· 将卫星图转化成谷歌地图
· 将画作转化成图片
· 将素描转化成图片
· 将苹果图转化成橙子图
· 将照片转化成艺术画作
Han Zhang等人于2016年发表题为《StackGAN:使用堆叠GAN技术进行文字-图片转化及合成》的论文。论文特别介绍了如何运用StackGAN将对于简单物体(如花鸟)的文字描述转化为现实图片。
论文传送门:https://arxiv.org/abs/1612.03242
论文传送门:https://arxiv.org/abs/1605.05396
论文传送门:https://arxiv.org/abs/1703.06412
Scott Reed等人于2016年发表了题为《学习绘画内容和地点》的论文。论文对GAN的此功能作了进一步介绍,并运用GAN完成文图转化,以及运用包围盒和关键点推测描绘物体(如一只鸟)的位置。
论文传送门:https://arxiv.org/abs/1610.02454
Ting-Chun Wang等人于2017年发表了题为《使用条件性GAN进行高清图片合成及语义操纵》的论文。文中介绍了使用条件性GAN根据语义图像或素描生成现实图片的方法。
论文传送门:https://arxiv.org/abs/1711.11585
· 根据语义图像合成城市景观图片
· 根据语义图像合成卧室图片
· 根据语义图像合成人脸图片
· 根据素描合成人脸图片
论文同时介绍了一种可操纵所生成图片的互动编辑器。
8. 生成正面人像图片
Rui Huang等人于2017年发表了题为《人脸转正:全球及地方GAN感知合成拟真正面人像图片》的论文。文中介绍了使用GAN根据特定角度的人脸生成正面人像图片(如脸朝前)的方法。此类技术可应用于人脸验证或辨认系统。
Liqian Ma等人于2017年发表了题为《人体体态图像生成》的论文。文中介绍了生成人体模型新体态的案例。
论文传送门:https://arxiv.org/abs/1705.09368
Yaniv Taigman等人于2016年发表了《无监督跨领域图像生成》一文介绍了使用GAN跨领域转化图像的方法。比如,将街区数字转化为MNIST手写数码,或将名人照片转化为emoji或动画表情。
论文传送门:https://arxiv.org/abs/1611.02200
Guim Perarnau等人于2016年发表了题为《使用可逆条件性GAN编辑图片》的论文。文中特别介绍了使用GAN的IcGAN技术根据特定的面部特征如发色、发型、表情甚至性别变化来重建人像图片的方法,比如:
Ming-Yu Liu等人于2016年发表了题为《耦合性GAN》的论文。文中同样介绍了如何利用发色、表情和眼镜等特征生成面部图片。论文同时也展示了其他图像的生成,如有颜色和深度变化的场景图片。
论文传送门:https://arxiv.org/abs/1606.07536
论文传送门:https://arxiv.org/abs/1609.07093
论文传送门:https://arxiv.org/abs/1701.05957
Grigory Antipov等人于2017年发表了题为《使用条件性GAN进行面部老化处理》的论文。文中介绍了使用GAN生成不同年龄段人脸图片的方法。
论文传送门:https://ieeexplore.ieee.org/document/8296650
论文传送门:https://arxiv.org/abs/1702.08423
Huikai Wu等人于2017年发表了题为《GP-GAN:关于现实高保真照片的混合》的论文。文中展示了GAN在混合照片,尤其是混合田野、大山及其大型物体照片中的应用。
论文传送门:https://arxiv.org/abs/1703.07195
Christian Ledig等人于2016年发表了题为《使用GAN生成单幅高分辨率图像》的论文。文中特别展示了GAN的SRGAN模型在生成具有超高分辨率图像中的应用。
论文传送门:https://arxiv.org/abs/1609.04802
论文传送门:https://arxiv.org/abs/1707.00737
论文传送门:https://arxiv.org/abs/1811.00344
Deepak Pathak等人于2016年发表了题为《文本编码器:通过图片修复学习特征》的论文。论文特别介绍了如何使用GAN的文本编码器进行图片修复或填充空缺,即填补图片中某块缺失的部分。
论文传送门:https://arxiv.org/abs/1604.07379
论文传送门:https://arxiv.org/abs/1607.07539
论文传送门:https://arxiv.org/abs/1704.05838
Donggeun Yoo等人于2016年发表了题为《像素级领域转化》的论文。论文展示了如何根据身着服装的模特照片,运用GAN生成类似服装图集或线上服装店的服装图片。
论文传送门:https://arxiv.org/abs/1603.07442
Carl Vondrick等人于2016年发表了题为《生成场景动态视频》的论文。文中介绍了如何使用GAN进行视频预测,尤其是连续预测最长可至一秒的视频帧,聚焦于场景中的静态因素。
论文传送门:https://arxiv.org/abs/1609.02612
吴佳俊等人于2016年发表了题为《通过3D生成对抗模型学习物体形状的可能潜在空间》的论文。论文展示了如何使用GAN生成物体的3D模型,比如桌椅、汽车和沙发。
论文传送门:https://arxiv.org/abs/1610.07584
论文传送门:https://arxiv.org/abs/1612.05872
我们一起分享AI学习与发展的干货