手机端部署的超分机器学习模型-MobiSR

约定不等于承诺〃 2022-11-05 10:58 67阅读 0赞

# 背景 #

超分（Super-Resolution），本文简称为SR，指的是通过深度学习模型让低分辨率的图像变成高分辨率。超分这个概念其实由来已久，今天主要介绍下端侧超分，重点讲的是手机端的超分。主要是参考了《MobiSR: Efficient On-Device Super-Resolution through Heterogeneous Mobile Processors》这篇文章。

超分模型的理论基础，这件事为什么能做其实很关键。CNN模型如下图可以构建出一套数学模型，使得在以PSNR、SSIM等指标作为评估的时候，构建出输入低分辨率图片并产出高分辨率图片的一个通路，这使得超分这个概念在逻辑上是成立的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dzaGVuZ29k_size_16_color_FFFFFF_t_70][]

# 端侧部署模型的收益 #

既然SR可以做成一个模型的预测过程，一定是受限于计算资源的，为什么一定要做到端侧。

收益主要是几点：

*  1.时延性，端侧时延会很低，近乎于0
 *  2.数据隐私性，应用不用把数据上传到服务器，而直接在端侧做预测
 *  3.计算资源的节约，把云端服务器的成本转嫁到计算力越来越突出的手机端

在端侧部署模型，主要解决的问题有两个：

*  模型的尺寸，不会有APP允许一个超大规模的模型的嵌入
 *  模型inference的资源限制，端侧不像服务侧那样有充分的资源，所以如何保证端侧模型的运行效率是个挑战

# 如何解决端侧模型的问题 #

解决方案就是减少模型的计算复杂度并且充分利用端侧的资源。在减少计算复杂度方面，可以在端侧模型多用一些轻量的残差网络模块（lightweight residual blocks）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dzaGVuZ29k_size_16_color_FFFFFF_t_70 1][]

另外一个模式就是将channels分割，是得总的模型参数不变的情况下学习更多的内容，如下图：

![20210306092328999.png][]

详细方案可以看以下这篇论文《SplitSR：An End-to-End Approach to Super-Resolution on Mobile Devices》。

另外如何更有效的利用手机侧的资源也是提升端侧模型性能的方案。一个比较简单的思路是提升手机端GPU和DSP的利用率，因为相比于CPU计算资源，GPU和DSP的计算资源更为宝贵，一个做法就是将简单的工作尽可能交给CPU去执行，将复杂的计算逻辑交给GPU和DSP去执行。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dzaGVuZ29k_size_16_color_FFFFFF_t_70 2][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dzaGVuZ29k_size_16_color_FFFFFF_t_70]: /images/20221023/960c689cb2bc4a9fae5ef595c012797e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dzaGVuZ29k_size_16_color_FFFFFF_t_70 1]: /images/20221023/8d79686090f24d1092843b80e3671603.png
[20210306092328999.png]: /images/20221023/ba8ffe1646c7494ea4577c47ae2abf6c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dzaGVuZ29k_size_16_color_FFFFFF_t_70 2]: /images/20221023/5dfb06aa8ddd4b78900c55584dfcf201.png