真实街景秒变日漫，还能把石原里美带入吉卜力世界 | 开源

鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI

看到这样的街角，是不是想问这是哪一部日本动画电影里的场景？

宫崎骏、新海诚的电影常常从现实场景中获取灵感，这张“日本动漫”截图同样有对应的真实空间。

但这一次，打破次元壁的却不是人类画师，而是一只名叫AnimeGAN的GAN。

繁华街道，车水马龙，几秒即可在二次元场景中复现：

即便是西方街景，在AnimeGAN的画笔下，也能毫无违和转化成日漫画风：

看完AnimeGAN的作品展示，我产生了一个大胆的想法。

看，我的二次元和三次元老婆完美统一了！

风格迁移+生成对抗网络（GAN）

这项来自武汉大学和湖北工业大学的研究，采用的是神经风格迁移 + 生成对抗网络（GAN）的组合。

除了解决生成图像动画风格纹理不明显、丢失原始图像内容这样的问题，AnimeGAN最大的特点是快。

比如上面的石原里美，在V100上跑了1.64s就完成了次元的跃迁。

那么，这个轻量级的GAN有什么样的特别之处呢？

AnimeGAN架构

作者介绍，AnimeGAN是基于CartoonGAN的改进，并提出了一个更加轻量级的生成器架构。

AnimeGAN的生成器可以视作一个对称的编码器-解码器网络，由标准卷积、深度可分离卷积、反向残差块、上采样和下采样模块组成。

为了有效减少生成器的参数数量，AnimeGAN的网络中使用了8个连续且相同的IRB（inverted residual blocks）。

在生成器中，具有1×1卷积核的最后一个卷积层不使用归一化层，跟随其后的是tanh非线性激活函数。

上图中，K为内核大小，C为特征图数量，S为每个卷积层的跨度，H是特征图的高度，W是特征图的宽度，Resize值用于设置特征图大小的插值方法，⊕表示逐元素加法。

损失函数

论文还提出了三个新的损失函数，以提升风格化的动漫视觉效果。

△不同权重的定性比较

灰度风格损失：

灰度对抗损失：

生成器网络的颜色重建损失（基于图像像元的损失）：

实验结果

与CartoonGAN相比，可以明显看出AnimeGAN参数更少，模型更小，计算量更少，推理速度更快，是一个相对轻量级的GAN。

细节甚至还更胜一筹。

与此前的SOTA方法相比，可以看出，CartoonGAN生成的动漫图像中通常会存在颜色伪影区域（图中红框），ComixGAN生成的动漫图像中通常会存在过度风格化的区域(失去了原始照片的内容，目标纹理难以辨识），而AnimeGAN很好地解决了这些问题。

定性分析，AnimeGAN取得了比SOTA方法更高质量的视觉动漫效果。

目前，AnimeGAN已经开源，数据集和预训练模型均可下载。如果你也想把自己记录的风景用宫崎骏/新海诚/今敏的风格呈现，不妨一试~

One More Thing

或许你已经猜出来了，AnimeGAN的作者们本身也是二次元文化爱好者，出于兴趣开始了这样一个研究项目，真·「我的兴趣就是我的工作」。

论文作者，是湖北工业大学刘罡副教授，陈颉博士，和他们的学生Xin Chen。

此前，刘教授和Xin Chen还研究了一个动漫线稿自动上色模型，GitHub用户@pradeeplam根据他们的论文进行了复现，效果也很不错。

传送门

GitHub地址（含论文）：https://github.com/TachibanaYoshino/AnimeGAN

作者知乎专栏：https://zhuanlan.zhihu.com/p/76574388

上色项目：https://github.com/pradeeplam/Anime-Sketch-Coloring-with-Swish-Gated-Residual-UNet

— 完 —

量子位 QbitAI · 头条号签约作者

?'?' ? 追踪AI技术和产品新动态