图像数集据增广的15+种功能总结和Python代码实现

浅浅的花香味﹌ 2022-11-19 09:53 102阅读 0赞

> 点击上方“**机器学习与生成对抗网络**”，关注"星标"
> 
> 获取有趣、好玩的前沿干货！

https://zhuanlan.zhihu.com/p/158854758  编辑 机器学习AI算法工程

无论我们喜欢Keras还是Pytorch，我们都可以使用丰富的资料库来有效地增广我们的图像。但是如果遇到特殊情况：

*  我们的数据集结构复杂（例如3个输入图像和1-2个分段输出）。
 *  我们需要完全的自由和透明度。
 *  我们希望进行这些库未提供的扩充方法。

对于这些情况以及其他特殊情况，我们必须能够掌握我们自己的图像增广函数。而且，我每次都使用自己的函数。因此，在本文中，我将介绍并提供执行图像增广的功能。

我将使用朋友的照片来提醒我在加拿大度过的美好时光作为示例。希望您喜欢这张照片，因为这是您在本文中看到的唯一一张照片。

![format_png][]

我将增广过程细分为一个实际的案例，将我们的函数与图像和目标图像一起使用。这将使您对将要描述的方法的灵活性有所了解：

*  翻转
 *  裁剪
 *  过滤和锐化
 *  模糊
 *  旋转，平移，剪切，缩放
 *  剪下
 *  色彩
 *  亮度
 *  对比
 *  均匀和高斯噪声
 *  渐变
 *  镜头变形

本文的目的不是为了证明增广技术是如何设计的，而是理解它们的用法。

### 一些有用的函数 ###

在开始之前，我想解释每种方法具有的通用结构。它实际上是一个要初始化的对象。该对象将以我们的样本作为参数调用，并将返回我们的扩充样本。这就是全部？是的，仅此而已！然后，让我们从增广功能之前的一些有用函数开始。

### Resize ###

![format_png 1][]

第一个有用的函数允许我们使用（宽度，高度）形状调整图像大小。这个类使我们看到了所有其他的初始化方式。我们实例化一个对象，该对象的大小被参数化。在我们的例子中，所有样本（图像和目标）将以相同的尺寸返回。使用此类型的功能，我们可以轻松地以所需方式处理图像和目标。

![format_png 2][]

### Clip ###

剪辑函数是一项非常有用的函数，尤其是当您需要从一种颜色空间切换到另一种颜色空间或在0和1或0和255之间重置图像时。

![format_png 3][]

### Normalize or Standardize ###

在传递模型中的输入之前，我们通常希望对数据进行标准化或规范化。当然，这些操作可以在特定的轴上完成。

![format_png 4][]

默认情况下，对整个图像执行标准化和规范化。

![format_png 5][]

### ToTensor ###

最后，如果您使用的是`Pytorch`，则需要将图像转换为`Torch.Tensor`。唯一需要注意的是，使用`Pytorch`，我们的图像维度中首先是通道，而不是最后是通道。最后，我们还可以选择张量的输出类型。

![format_png 6][]

### 怎么使用？ ###

我们要做的就是定义我们要在样本中进行的转换的列表，仅此而已。之后我们什么也别碰。请注意，转换顺序很重要。而且由你决定。

![format_png 7][]

现在，我们可以深入研究本文的目的，并查看图像增广技术。

### 旋转 ###

![format_png 8][]

第一个，也是最简单的一个，包括在图像的水平和垂直轴上随机执行翻转。换句话说，执行垂直翻转的机会为50/100，执行水平翻转的机会为50/100。

![format_png 9][]

### 裁剪 ###

要进行图像增广，通常会随机裁剪图像。换句话说，我们在随机区域上裁剪了一部分随机大小的图像。

![format_png 10][]

可以从尺寸的比例（高度，宽度）中选择裁剪图像的尺寸。如果未指定裁剪的比例最大大小，则默认情况下，我们将认为它是图像的大小。

![format_png 11][]

### 过滤器 ###

### 一般情况 ###

我们将开始一些有趣的事情。过滤器是很棒的方法，但我认为能够轻松创建我们自己的卷积过滤器非常重要。

所以我想做一个通用的函数，以便能够使用我们自己的过滤器。

![format_png 12][]

### 锐化 ###

就过滤器而言，可以通过选择上游过滤器并以随机权重应用过滤器来进行进一步处理。例如，我向您介绍用于锐化图像的过滤器。

中心值从0到65。

![format_png 13][]

### 模糊 ###

可以用最流行的滤镜来随机模糊我们的图像。有很多方法可以模糊我们的图像。最著名的是平均值，中值，高斯或双边滤波器。

### 平均模糊 ###

![format_png 14][]

内核大小从1到35

关于平均滤波器。顾名思义，它使我们可以对给定中心的值取平均值。这是由内核完成的。可以指定其大小以增加或减少模糊。要使用平均滤波器增广图像，我们只需要使用随机大小的内核对输入图像进行滤波。

![format_png 15][]

### 高斯模糊 ###

![format_png 10][]

内核大小从1到35

高斯模糊不使用平均滤波器，而是使用高斯滤波器，因此这些值对应于从中心开始的高斯曲线。请注意，内核维数只能包含奇数。

![format_png 16][]

### 透视变换 ###

迄今为止，最广泛使用的图像增广技术是透视变换。有旋转，平移，剪切和缩放。这些转换可以在3D维度中执行。通常，它们仅在2D中使用。让我们利用我们拥有的一切。

### 翻转 ###

![format_png 17][]

### 平移 ###

![format_png 18][]

### 剪切 ###

![format_png 19][]

### 缩放 ###

![format_png 20][]

### 结合 ###

我不会在2D图像的3D转换上花费更多的时间，因为我写了有关这方面的整篇文章。因此，我选择了本文结尾处提供的函数。

应该注意的是，该函数允许我们根据所提出的4个矩阵随机执行变换。 顺序很重要。这里我们有剪切，然后是旋转，然后是比例缩放，最后是平移。注意，平移是通过图像尺寸的比例完成的。

![format_png 21][]

结合随机旋转平移剪切和比例缩放

![format_png 22][]

![format_png 23][]

### 镜头变形 ###

最后，这是一种非常好的方法。我很惊讶它不经常被使用。但是它可以模仿相机镜头的失真。就像透过圆形玻璃看。在我们看来，由于透镜（玻璃）是圆形的，因此失真了。因此，如果我们的图像是从带镜头的相机拍摄的，为什么不模拟它们。默认情况下，应将其用于图像。至少我是这样认为的。

因此，我建议在最后一个函数中，通过播放径向系数k1，k2，k3和切向系数p1，p2，可以随机模拟我们的镜头失真。在该方法中，系数的顺序如下：k1，k2，p1，p2，k3。

![format_png 24][]

原文地址 https://zhuanlan.zhihu.com/p/158854758

**猜您喜欢：**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![format_png 25][]

[format_png]: /images/20221119/1c8d1dc6ecca4dfeade8c779c934f347.png
[format_png 1]: /images/20221119/280e8fc7a30a4f8398d2c7dc4242b217.png
[format_png 2]: /images/20221119/a65b7f81e62549399389edb9ffd9cd1b.png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVNcXA1aWE1UGlhSDFNT1BUNWVFRDhqUmpLdDJvYWw2UHV1SWJhSWdkS0tzYnFqSGljdVpnVTBpYzd3LzY0MA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVOanJpYXQ0VEdRU1h6MFRPZ1VsUUpHek8xTmljWmVSTnBhY2lhdDRNbTVBWGs3OTF4YklSaWJpYVkzZy82NDA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVaQkVybDI1YU1XVW1vS2t3SmM3ZFNDeGplWko3eXJHUDB4ZFR0eHZCN1U1aWNMU2plaWFZU3d3QS82NDA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVvTDgzTEk5QnlKOUpSOGxkdU80Tjlwdnd1VU9ZbGliMVZKZFlhYTA1a3hZYjJScDQ1eVlNYnB3LzY0MA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVWcDVjSlREa05pY0gycFZlOHMzVnYwNEJGNFdHS3V2QVpDdlcwT2NmVUQ4RUlvWmliU2lidGV1TmcvNjQw?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDU5TjRuSkNOeEE5bENTSldHck5wQXQyckVlbHEwam14blRrN0UwR2xvWmlhckUwSEZzVU1yMzBnLzY0MA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVoa2ZhRG42ZGliWmljdU5iQkI4TGppYTh0dlJjbjdqV0t1RnhSYkZOaWFkbUF4QVBKV3g0QUdqY3VnLzY0MA?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDV1VXp2RkJPT1h4aWJoSVM0MTZaMnRSaWJ4aWIwUFdLVEoyZDVrNzFnWGYwYmd2VE5UU1ZQWDFzc3cvNjQw?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVxOXBOQzkwbTdxRXZ0SHBkNHBCYmZrVnhXTWlhaWM4NDdBWTZ2cDlNa1U1OVJ6eXBtOHExNGxCZy82NDA?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVQRGljdURMcFRsZEliaWE3bnpBVFFKcmRVTVRVdGt5NGhTQTQ2bUtmYVlDRFVlOEp0elJhWkhHZy82NDA?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVsdmVET3I1VTNhOVBpYTJ4U21abTFmTGJYWnFNc3JjZWRHc3VCWEU0aWJCTGJXRzl2U1paQjVxQS82NDA?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVNOTFnbkp3QU5reThGQzMzcnZGaWJPNUJIajdZb0FxcGlhbjA3MDBPV2JNNTJNOWpQc0g4V2c2Zy82NDA?x-oss-process=image/format,png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVBR3N6cTVERFc2QWJUczUzVWg0UWlhSHlCQTlDMWd0blo1Yjdwc0hDZE1tazUwdlNHOXFOcnZ3LzY0MA?x-oss-process=image/format,png
[format_png 16]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDUxODVDRFpJTTR6eGxhOXR5Um9pYkExQ0JIUEY5WkZpYmJKVTJZZUJwVjR3UW5OOUZLaWNRRWZXVUEvNjQw?x-oss-process=image/format,png
[format_png 17]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVOejlwaWFBbzBpYWljZGIxTWFRM1Z1VkNDbWJQaWJGMzFaZVllcUlWTUR0NUd4NTdUT0FuMW5pY3I5Zy82NDA?x-oss-process=image/format,png
[format_png 18]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVydW1vQmhJa0RtUkNkRkVYWGljVmliSmdPMWc0SEZsTGljUnBtaWNXYmVpY25HRm5vb2JUNDBWRWZqZy82NDA?x-oss-process=image/format,png
[format_png 19]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVHZzlwMnpVakJrWTBONEIxc2lhS3VuRGliaWMzMG5yZHRpYndlTDc5SUVQbTlnSTA4QjhMek9BWmN3LzY0MA?x-oss-process=image/format,png
[format_png 20]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVmMXBTbXJSMElEMUJtQnc2a1lRR05Jd1ZLQjB2S2xubEptRkhJVE84SkFmaWIwRTVMZHF0aWJ2QS82NDA?x-oss-process=image/format,png
[format_png 21]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVvY250cUF2M1BrcFZJUVhwemljWEN5Vm9WNENhSENWRGliYXRraWJyZlc3clBkU1N5WnNnaWFSZW9nLzY0MA?x-oss-process=image/format,png
[format_png 22]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVOVTJhd0REbDd0SzBMQXBNaWNhTVpSQ2hIbkl0WWpXUmlhMlp3aG9aMVNHNVFwaWNDSUtpYW9YQjFnLzY0MA?x-oss-process=image/format,png
[format_png 23]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDViZlFwSVVpYTVnQU0wSnhpYXduQ05HTEVlaldQQWliaWFTeTFsbDg2T0hxZW9FNmppYkRTY3pEbFpjQS82NDA?x-oss-process=image/format,png
[format_png 24]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90ZUY0b0h6WjRJUXcxb3VGbXhUUUYyUWlhcVBuMnFGRDVWOWxxTHltZWFRUWliSGgxRDFMeHR6SUlYQWJLMTNrSnU2OTU4NkJiSVRGbXVwaFI1cUVLM1RnLzY0MA?x-oss-process=image/format,png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[format_png 25]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9McXhEanVDWlQzaWNQS2d0QTNRZHFDUlBXWTVENlcwTG0xZGYyYzZKcXgxR0hHTjg3Z2g1WW9MMkltTjFmdGxIdzZMcWVLQ2RseEQxYnV6dlVSeTE1b0EvNjQw?x-oss-process=image/format,png