学习分享——基于深度学习的NILM负荷分解（一）对DL的看法&准备工作

骑猪看日落 2023-02-27 13:34 35阅读 0赞

## 好啦，我来填坑啦哈哈 ##

经过了几个月的对深度学习的学习、了解和实践，

对于用深度学习来做NILM的经验也是积累了不少。

在此，做以小结。

在此，感谢~柳柳，小张，小田，小刘的支持和鼓励。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70]

话不多说，下面开始！~

## 一，心里上的准备 ##

本文开始的一系列文字，是基于深度学习的方法，来做负荷有用功分解预测以及电器识别的。

如果是要用传统的概率模型，可以参照我之前的几篇，传送门：[https://blog.csdn.net/wwb1990/category\_9655726.html][https_blog.csdn.net_wwb1990_category_9655726.html]

说到深度学习，行业内俗称 “炼丹”，用什么炼（各种架构），炼多久（各种参数），怎么炼（网络结构），炼出来的好不好（标准），，，以上基本没有个统一的说法，充满着不确定性（刺激）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 1]  
而且很多时候，是不能用人的理解方式，去评判训炼出的模型结果的对错的。只能说是网络学到了我们想让他学到的逻辑，或者是学的不是我们期待他学的。

我认为这是个心态问题，即结果的正确率很低，那这时候要思考的，首先应该是，

**1，我给网络学习的材料（输入），是不是包含我希望他学的知识。**

举个栗子，输入的数据包含了太多的繁杂的信息，那么少量数据的学习，不一定就学到关键信息。

再来个贴切的例子，给网络训练时候，训练红衣服，蓝裤子，让它分类。它可以分出来了，但是有可能你再给他一个蓝衣服的时候，它认成了裤子。

这里面又涉及了两个问题，  
一个是**训练的数据集少**，如果训的数据集包括蓝衣服，那就能将蓝衣服分到衣服里面。这个是数据集的涵盖范围，即，如果你也不清楚用什么特征可以区分分类的话，那就尽可能多的给出各种数据参数来学习，以及尽可能多数量和多样的数据。  
第二个是**关键属性的提取**，也就是数据的预处理。以上面的例子来说，我们人已经知道了，通过颜色是肯定不能区分衣服还是裤子，那为了避免网络学到这个（出现上面蓝衣服问题），在输入数据的时候，可以预处理数据，归纳到只输入衣服和裤子的形状等。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 2]

**2，它学习的方式（网络结构和类型），能不能总结或提炼出我希望他学的知识。**

这个就很好说多了，  
循环网络就是提炼一个序列中变化的规律，  
卷积网络就是提取图中的细节中找规律  
全连接网络就是从一堆数据中找到规律，  
卷积+循环就是从序列的图中的细节中找到变化规律  
卷积+全连接就是从图中的细节提取的数据中找规律  
。。。。  
我上面说的都是帮助理解的举例哈，  
实际上与输入，网络层间关系，以及输出都有关。也就是说用，举例：全连接也可以学习图的规律，也可以找序列变化规律，但是网络结构，输入输出要做出相应调整。

意思就是，你的网络设计要能学会你需要学到的规律。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 3]

**3，我如何去改进它**

这方面，也是初入丹道的我一直在追寻的，目前认为比较玄学。

因为看书也好，看大神们的博客论文也好，会发现，每个使用场景，甚至每个数据集，每次训练，都是不一样的。

因为深度学习的核心就是随机，所以没有绝对正确的方法。

但这个正是大家在同一起跑线的优势，

而大神们也仅仅是比你的经验多一些（有用的和失败的）

只有不断的开拓创新，实验调参，改善结构，，，各种方案无所不用其极。才能龟速的提升你的模型~~hhhh

所以不用着急，就算一开始正确率比较低，那也不是网络的错（网络他爹的？）  
去思考前两点，然后调整各种参数的实验，才能有感觉~~  
（这里我用的是感觉，而不是理性思维推导，，因为可能你在尝试了几次某一个参数改大，正确率就降低，然后要放弃的时候，又多改大了一点点，就突然神奇的正确率提升了（匪夷所思就对了~））  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 4]

## 二，技能和环境上的准备 ##

前面说了一堆对于深度学习的理解哈，下面开始本项目的切实准备工作。

Python不多说了，我这里用的3.6

pytorch，keras 建议二选一，深度学习新人建议keras。高手直接用TF或者其他网络随意随意。（举个例子：同一个网络，TF要写50行代码，pytorch写20行，keras写10行。当然论灵活性TF原架构最高，pytorch其次，keras低点。易用性keras最高，初学者（我目前= =）能想到的网络都能轻松构建）

初学深度学习的同学，我推荐一本keras的书，我自己就是1个月左右的业余时间，通读+所有代码都是通透了一遍。  
（不做广告，只发个豆瓣的，各种网上有书卖的都有，自己去查吧长下面这样[https://book.douban.com/subject/30293801/][https_book.douban.com_subject_30293801]）  
![在这里插入图片描述][20200717230423458.png]  
安装pytorch和TF2的网上页多得是，我也有篇文字可以参考（[RNN & LSTM 学习笔记 —— Anaconda安装，Python安装，PyTorch，Tensorflow配置][RNN _ LSTM _ _ Anaconda_Python_PyTorch_Tensorflow]）

Keras的安装和TF2 GPU版本的安装在这篇文章（[深度学习 从零开始 —— 神经网络（三），安装配置keras，GPU版本TensorFlow，安装CUDA各种坑~~~][_ _ _keras_GPU_TensorFlow_CUDA]）

最好是有GPU的电脑，TF2-GPU版本能让你时半功成~~

当然，没有GPU或者装CUDA懵圈的同学，那就简单安装普通CUP的TF2吧。就是跑的慢点，结果都一样。去上一天课回来就训完了 hhhhh

这里列一下我使用的一些关键库的版本：  
除了nilmtk用的panda库需要0.25.0的以外。其他应该是新的就好吧（大概是）

![在这里插入图片描述][20200717231858374.png]  
![在这里插入图片描述][2020071723202096.png]  
![在这里插入图片描述][20200717232048586.png]  
剩下需要的sci，numpy等等的库就装新的就好。

## 二，数据集的准备 ##

之前用的是REDD的数据集，用过的同学，打印一下全部就知道，中间时间缺失了一大部分的数据、、、

所以这次我们使用UK-DALE的数据集 [https://ukerc.rl.ac.uk/DC/cgi-bin/edc\_search.pl?GoButton=Detail&WantComp=41][https_ukerc.rl.ac.uk_DC_cgi-bin_edc_search.pl_GoButton_Detail_WantComp_41]

而且其中已经有转好格式的h5文件，只下载这个就包含前面的原始数据内容了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 5]

## 以上准备好了 ##

## 可以开始我们《深度学习大冒险》了 ##

## To be continued. ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 6]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70]: /images/20230209/68e179b4d38342459d9ee622554c3c36.png
[https_blog.csdn.net_wwb1990_category_9655726.html]: https://blog.csdn.net/wwb1990/category_9655726.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 1]: /images/20230209/4772c664431145e1bc446c1e8b4944b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 2]: /images/20230209/f2124243633445e8b005cc2eb1ea853e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200718000334760.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200718000639416.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA=,size_16,color_FFFFFF,t_70
[https_book.douban.com_subject_30293801]: https://book.douban.com/subject/30293801/
[20200717230423458.png]: https://img-blog.csdnimg.cn/20200717230423458.png
[RNN _ LSTM _ _ Anaconda_Python_PyTorch_Tensorflow]: https://blog.csdn.net/wwb1990/article/details/103883775
[_ _ _keras_GPU_TensorFlow_CUDA]: https://blog.csdn.net/wwb1990/article/details/104870255
[20200717231858374.png]: https://img-blog.csdnimg.cn/20200717231858374.png
[2020071723202096.png]: https://img-blog.csdnimg.cn/2020071723202096.png
[20200717232048586.png]: https://img-blog.csdnimg.cn/20200717232048586.png
[https_ukerc.rl.ac.uk_DC_cgi-bin_edc_search.pl_GoButton_Detail_WantComp_41]: https://ukerc.rl.ac.uk/DC/cgi-bin/edc_search.pl?GoButton=Detail&WantComp=41
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200717233938128.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200718000658774.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d3YjE5OTA=,size_16,color_FFFFFF,t_70