风格迁移理论

小鱼儿 2022-04-17 03:00 372阅读 0赞

## 算法论述 ##

*  风格迁移，就是将两幅画给融合在一起。

**如果说是把两幅画融合在一起呢？**

现在假设三幅画:

*  一幅画表示的是**风格画，设为A**
 *  一幅画表示的是**内容画，设为B**
 *  一幅画表示的是**输出画，设为C**

我们要做的其实很简单。  
**两件事：**

*  让C和A的内容很相近。
 *  让C和B的风格很相近。

所以说，只需要给出**内容差异度**和**风格差异度**两个度量值之后，我们再降低这两个值就好了。

**现在难点来了。如何度量呢？**

关于**内容的差异度：**

*  **两幅画的每个像素点的数值距离。** (常见的有绝对值，差的平方)

关于**风格的差异度：**  
（这是一个难点，有个大神提出了使用Gram矩阵来解决这个问题。\[^1\]）

*  一张图片在经过卷积网络之后，就可以得到一个特征图，Gram就是在这个图上定义出来的。\[^1\]

**Gram定义：**  
图片的**shape**一般是：`[C, M, N]`

*  `C：`通道数（也有人喜欢称这个为高）
 *  `M, N`表示是图片的长宽

**Gram矩阵计算**

*  **Gram矩阵规模：** `[C, C]`
 *  其实就是每一个色层的图像之间的关系。**这是合理的，因为，我们认知的风格这里很大程度上是考虑的是颜色变化的风格。** （要是不想要有特征的方式，那就用别的风格距离的定义呗。）
 *  Gram(i,j) 就是把这两层的矩阵提出来，即有两个`[M, N]`的矩阵。然后，让这两个矩阵对应的位置做乘法之后，再做加法。（**卷积的过程**）

**其实就是不同色层的卷积来构成的矩阵。**

之后，用上面的内容的矩阵的变化方式来计算就好了。

## 代码 ##

（本来打算也放代码的。但是发现网上的这些代码只用CPU的话实在是太慢了。。）  
[https://blog.csdn.net/q295684174/article/details/79065032][https_blog.csdn.net_q295684174_article_details_79065032]  
这个链接上的代码是可以跑的，就是特别慢。

[https://www.jianshu.com/p/8f8fc2aa80b3][https_www.jianshu.com_p_8f8fc2aa80b3]

[https_blog.csdn.net_q295684174_article_details_79065032]: https://blog.csdn.net/q295684174/article/details/79065032
[https_www.jianshu.com_p_8f8fc2aa80b3]: https://www.jianshu.com/p/8f8fc2aa80b3

发表评论取消回复

表情：

评论列表（有 0 条评论，372人围观）

还没有评论，来说两句吧...

相关阅读

相关 GAN英雄联盟双城之战风格迁移

双城之战风格迁移写在前面数据链接地址如何自己制作写在后面写在前面导师课程需要，让我写个有关GAN的项目指导书。由

喜欢ヅ旅行/ 2023年09月29日 08:35/ 0 赞/ 125 阅读

相关 Pytorch实现图像风格迁移

载入图像 imsize = 512 loader = transforms.Compose([ transforms.Resize(ims

不念不忘少年蓝@/ 2023年07月12日 09:16/ 0 赞/ 87 阅读

相关风格迁移与Gram matrix

参考链接：[https://blog.csdn.net/hellocsz/article/details/91486679][https_blog.csdn.net_hello

朱雀/ 2023年07月07日 05:47/ 0 赞/ 104 阅读

相关神经网络之风格迁移【TF-Hub开源项目】

前言风格迁移，基于A图像内容，参考B图像的风格（名画，像毕加索或梵高一样绘画），创造出一幅新图像。本文基于TF-Hub开源项目进行开发，60多行代码快速实现神经网络

深藏阁楼爱情的钟/ 2023年01月22日 12:50/ 0 赞/ 203 阅读

相关 CVPR 2021 | 基于模型的图像风格迁移

> 作者：侯云钟知乎 > > https://zhuanlan.zhihu.com/p/371101640 本文从另外一个角度解读，澳洲国立大学郑良老师实验室CVPR

曾经终败给现在/ 2023年01月21日 07:22/ 0 赞/ 38 阅读

相关图像风格迁移cvpr2020_pystiche：图像风格迁移框架

点击上方“机器学习与生成对抗网络”，关注"星标" 获取有趣、好玩的前沿干货！来源：机器之心编译易于使用的神经风格迁移框架 pystiche。 ![Image 1][

柔光的暖阳◎/ 2023年01月09日 01:22/ 0 赞/ 275 阅读

相关 Snap: 移动端实时人脸风格迁移

> 点击上方“机器学习与生成对抗网络”，关注星标 > > 获取有趣、好玩的前沿干货！机器之心报道编辑维度未经授权不得转载 > 人脸风格迁移出现新玩法！

Myth丶恋晨/ 2022年11月12日 05:26/ 0 赞/ 407 阅读

相关真二次元！动漫形象风格迁移

点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！文章：机器之心 > 一张输入人脸图像，竟能生成多样化风格的动漫形象。伊利诺伊大学香槟分校的

深藏阁楼爱情的钟/ 2022年10月08日 14:26/ 0 赞/ 543 阅读

相关 Python OpenCV 图像风格迁移(模仿名画)

现在很多人都喜欢拍照（自拍）。有限的滤镜和装饰玩多了也会腻，所以就有 APP 提供了模仿名画风格的功能，比如 prisma、versa 等，可以把你的照片变成梵高、毕加索、蒙

冷不防/ 2022年05月08日 19:18/ 0 赞/ 512 阅读

相关风格迁移理论

算法论述风格迁移，就是将两幅画给融合在一起。如果说是把两幅画融合在一起呢？现在假设三幅画: 一幅画表示的是风格画，设为A 一幅画表示的是内容

小鱼儿/ 2022年04月17日 03:00/ 0 赞/ 373 阅读