转载

几篇图像生成新应用的Paper

生成图像的几篇新文，随机看到的，从应用角度觉得比较新颖，从技术角度，我不Care。。技术NB不NB我不知道。。时间仓促将还请包涵。

1：Pixel-Level Domain Transfer

Paper下载： http://arxiv.org/abs/1603.07442

每天早晨醒来，在衣柜前面，女性朋友们是不是经常为穿什么衣服而感到苦恼，今天该如何把自己打扮的美美哒，于是可能就需要大费周折的展开联想，想象自己穿了某款衣架上的衣服是什么样子的。但是。。然而。。巴特。。通过一件挂在衣架上的衣服，想象自己穿上这件衣服的样子，这是一件多么烧脑的事情啊。而且当你在不停转换视线的时候，你的大脑还要不停的运转，Oh，My God，太特么浪费脑细胞啦。。

几篇图像生成新应用的Paper

在我们的日常生活中，我们所感知的视觉场景或物体，经常需要转换成大脑图像的不同形式。我们本文的重点，就是要解决类似这样的相关问题。将一台机器视觉输入的图像转换为另一种形式，并且可以直观的看到生成的像素级别图像的各种不同形式。

好吧，本文就是以衣服为例子，大致意思是用一个穿衣服的图像生成一系列不同形式的衣服图像，注意了是生成各样的衣服，衣服，衣服。不是用一个穿衣服的图像生成一个不穿衣服的图像。当然从理论上讲，你用个穿衣服的苍井空要生成一个不穿衣服的苍井空，嗯，从理论上讲，嗯，NO PROBLEM。。。

几篇图像生成新应用的Paper

本文的目标是如下图，

几篇图像生成新应用的Paper

这样的用途是什么呢，很明显可以用于搜同款，给出一张明星的照片，可以生成明星的穿着衣服的照片，这样很容易在淘宝中找到类似的图片，同款的衣服。

（技术细节，xxxxx，略18000字）

摘要：

我们提出一个条件图像的图像生成模型。模型在语义层面上，将输入域转换成目标域，并最后产生像素级别的目标图像。为了产生实际的目标图像，我们在GAN网络中采用了真/假鉴别器，但是也引入了一种新的域鉴别器，使所生成的图像与输入图像相关。我们通过一项竞赛任务验证我们的模型，从一个穿衣服的人的图像生成了一件衣服模型。我们提出了一个高品质的含有两个域的数据集，并成功证明了较好的结果。

看结果吧,Source是原始图片，Ours是本文生成的图片，其他RF、MSE是其他算法生成的图片，感觉效果还不错。。。

几篇图像生成新应用的Paper

2：Generative Image Modeling using Style and Structure Adversarial Networks

这是第二项近期生成图像算法的研究，是卡内基·梅隆大学机器人学院的最新研究成果。个人觉得这个思路蛮好的，可以看看图片效果，输入、输出、原始图像的对比，可以用在RGBD图像生成上。Paper（Generative Image Modeling using Style and Structure Adversarial Networks）： http://t.cn/Rq7ftZG

摘要。当前生成框架使用终端到终端的学习，从均匀分布的噪声进行采样生成图像。但是，这些方法忽略图像形成基本原理，图像最基本的原理包括（一）结构：最基本的3D模型（B）风格：纹理到结构的映射。在本文中，我们分解图像生成的过程，提出风格和结构生成对抗网络（Style and Structure Generative Adversarial Network ：S2-GAN）。我们的S2-GAN有两个组成部分：Structure-GAN生成表面映射; Style-GAN采用表面映射作为输入，产生2D图像。除了实际图像和生成图像的损失函数，我们使用计算表面的额外损失函数。这两个GANs被独立训练，然后通过共同学习合并在一起。我们的S2-GAN模型是可解释的，产生更逼真的图像，可以被用来学习非监督RGBD表示。

几篇图像生成新应用的Paper

3： Generating Images From Captions wiht Attention

好吧，最近的人工智能大红大紫了，各种应用层出不穷。前几天机器人写的小说入围日本文学奖。这几天加拿大多伦多大学一项研究也挺抢眼的，即利用文本信息生成一个描述该文本信息的图像，算是看字画图吧。ICLR 2016 Paper： http://t.cn/RUpExke 代码： http://t.cn/RqvURv4

摘要：受到近期生成模型最新进展的推动，我们介绍一种从自然语言描述生成图像的模型。该模型迭代在画布上绘制patches，同时顾及到在文本中文字的关系。在微软COCO数据集上训练结束后，与其他几个图像生成和检索任务生成模型相比较，我们的模型产生比其他方法质量更高的样本，可以用数据集中没有的字母来生成新场景的图像。感受下该模型的生成效果吧~~

几篇图像生成新应用的Paper