[阿里云][日志服务][数据加工][数据分析]基于日志服务(SLS)实现电商数据加工与分析

本是古典何须时尚 2023-05-29 12:00 239阅读 0赞

## 本文要点（json函数、ip映射函数专题） ##

*  如何使用阿里云日志服务-数据加工做清洗数据  
    
 *  如何使用阿里云日志服务强大的SQL做数据分析  
    
 *  如何配置数据仪表大盘

## 日志数据样例 ##

本文中的日志数据，以某大型电商一段时间的成交量数据为背景来展开工作的。具体日志数据如下：  
![image.png][]  
首先，从日志中可以看出每个用户购买的商品名称、商品价格、商品描述、商品分类以及用户的ip地址。此外，为了客户隐私本文中的隐去用户id。

### 需求 ###

1.  根据ip地址解析出用户的地理位置（省市国家信息）；
2.  然后依据每个用户IP解析的位置信息，分析每个省市各类产品之间的销售额，并制定相应的营销战略。

## 使用数据加工进行数据清洗 ##

### 加工流程 ###

![image.png][image.png 1]

### 加工操作 ###

1、点击搜索框右上第一个按钮“数据加工”进入加工页面  
![image.png][image.png 2]  
2、其次点击预览数据，做一些提前的配置  
![image.png][image.png 3]  
3、第一次点击的预览界面如下，其中在高级配置ak\_id, ak\_key主要是为了使用数据加工解析ip函数使用的（使用这种方式主要是安全，如果数据加工语法中没有使用到AK则可以不配置）具体AccessKeyId，AccessKey相关信息请参考[访问秘钥配置][Link 1]和[子账号授权][Link 2]。  
![image.png][image.png 4]  
4、接下来我们开始使用数据加工

e_set("geo",geo_parse(v("ip"), ip_db=res_oss_file(endpoint='http://oss-cn-hangzhou.aliyuncs.com',
                                                     ak_id=res_local("ak_id"),
                                                     ak_key=res_local("ak_key"),
                                                     bucket='log-etl-staging', file='ipipfree.ipdb',
                                                                   format='binary')))
    e_json("geo", depth=2)
    e_drop_fields("geo")
    e_if(e_search("province==中国"),e_drop())

### 语法详解 ###

*  首先需要在OSS上存一份IP解析库文件（文中使用的是[ipipfree][]库）
 *  然后使用res\_oss\_file函数从OSS上拉取存入内存中
 *  在使用geo\_parse函数对ip字段进行处理，解析出省市国家信息。此函数返回的是一个json数据

此时，点击下预览效果如下：  
![image.png][image.png 5]

*  使用e\_json把geo字段的json数据展开，并且使用e\_drop函数删除geo字段信息

从上图中可以看出解析出来的有脏数据即"province: 中国"这种日志信息，我在这里的处理是使用e\_if,e\_search和e\_drop配合使用删除这些脏数据。  
![image.png][image.png 6]  
如上图所示，目前的数据基本上都是正常数据。接下来是对加工的数据进行加工配置，以下图中的右侧图示表示将加工的数据分发到一个shop的logstore中。  
![image.png][image.png 7]

### 数据加工诊断 ###

![image.png][image.png 8]  
点击上图中提示按钮，可进入数据加工任务详情页面，在这里可以看加工出错日志、加工消费记录等重要信息。具体如下图：  
![1.png][]  
保存数据加工之后，可能在自己目标的logstore中不能及时看到加工后的数据，是因为使用数据加工会有一个延时速率，具体信息参考[数据加工仪表盘][Link 3]，创建告警参考[状态监控与告警][Link 4]。

## 使用日志服务SQL语句进行数据分析 ##

以下图是通过sql查询所展示数据仪表大盘：  
![image.png][image.png 9]

### SQL分析 ###

注意：在使用sql分析的时候，对应的字段需要提前建立好索引。在shop这个logstore中，我们需要提前建立好category, city, country, province, good\_price这些字段的索引（good\_price建立索引的时候选择double类型，其他的都为text类型就可以）。  
做分析的时候，首先我们需要知道我们需要统计什么信息，对比什么信息，得出什么样的结论等等。在这里我们的需求有以下即方面：  
1、统计各个省之间的各个品类的销售额  
2、统计单个品类各省之间的销售额  
3、统计单个省下各个市之间的销售额  
4、对全国销售额进行地图可视化

#### 统计各省之间的各个品类的销售额 ####

我们可以这样写SQL语句进行分析：`* | SELECT province, category, sum(good_price) as totalCount GROUP BY province,category`  
这条语句表示的是选出每个省的每个品类的总价。  
下图表示的是在查询框里输入以上sql分析语句之后进入统计图表，然后点击流图进行配置，province为X轴，totalCount为Y轴，category为聚合列。  
![image.png][image.png 10]  
通过上图分析可知总体情况，数码产品品类的销售额占所有销售品类的主要部分，其次是化妆品，最后是图书。  
此外，通过词云统计，可以统计出山东，广东等省是销售额占比大省。词云具体配置为：  
![image.png][image.png 11]

#### 统计单个品类各省之间的销售额 ####

以下以数码产品为例：

* | SELECT province, category, sum(good_price) as totalCount WHERE category='数码产品' GROUP BY province,category

![image.png][image.png 12]  
由上图分析可知山东，广东省是数码产品消费大省，后续可以加大促销力度。

#### 统计单个省下各个市之间的销售额 ####

以下示例以浙江省为示例：

* | SELECT province, category,city, sum(good_price) as totalCount WHERE province='浙江' AND city!='null' GROUP BY province,category,city

![image.png][image.png 13]  
从上图中可以分析出浙江省各个市之间的各个品类的销售额。

## 数据仪表大盘 ##

点击以下图中的“添加到仪表盘”按钮  
![image.png][image.png 14]

会跳出以下界面  
![image.png][image.png 15]  
配置完成之后，点击以下图中示意标记进入仪表大盘中心  
![image.png][image.png 16]  
其中的右上角的编辑，可以调整各个图的大小以及位置等

[image.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzI5MTk0MjgwMTQtZWM5MGIzY2EtNDFhMy00OTc4LWIwNWMtMzBlMjVmMjRkMGRjLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=485&name=image.png&originHeight=485&originWidth=1919&search=&size=243084&status=done&width=1919
[image.png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzI5MjA5NTMwMzctZDVjNzk2ZjAtMDc4Yi00ZTEzLWFhMjQtNjczODA5ZmIxM2E1LnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=432&name=image.png&originHeight=432&originWidth=1644&search=&size=66404&status=done&width=1644
[image.png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzI5MTk0NjIzMDYtY2FjOTBjYzgtZTY1Zi00NTg4LWFkZjAtNTlkZjU4NDExNGNhLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=485&name=image.png&originHeight=485&originWidth=1919&search=&size=251526&status=done&width=1919
[image.png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzIwMDMwMDQzNTMtMjUwNzE0OGQtYzMzOC00ZWIwLTk2MmYtMWUxZGY2MjAzZjdlLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=884&name=image.png&originHeight=884&originWidth=1626&search=&size=310528&status=done&width=1626
[Link 1]: https://help.aliyun.com/document_detail/129372.html?spm=a2c4g.11186623.6.958.4ece4b7aSAZAfZ
[Link 2]: https://help.aliyun.com/document_detail/125779.html?spm=a2c4g.11186623.6.959.2159c790gKEZJX
[image.png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzIwMDI2NjI3ODctOWQ4MmViMTQtMDA0OS00ZmNlLWJiNWYtZDJjZmVlZjk5ZTMxLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=884&name=image.png&originHeight=884&originWidth=1622&search=&size=261852&status=done&width=1622
[ipipfree]: https://www.ipip.net/free_download/
[image.png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzI5MjIxMTY3NjItZjk5YTE1MzgtNDc4Yy00NDE2LWI4MDgtNjA4YzM4YTE1MDQxLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=885&name=image.png&originHeight=885&originWidth=1623&search=&size=492773&status=done&width=1623
[image.png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzI5NDk2OTY0MTYtZDg2OTlkMDUtYWI4Yi00MTAyLThhNzYtZDE5ODVhZTBhNGQ4LnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=885&name=image.png&originHeight=885&originWidth=1623&search=&size=481690&status=done&width=1623
[image.png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzIwMDY5OTc4OTQtMjI4OTUxMjktMDgzOS00ZWNhLWE0YjQtOGQ1YWRmZDk0ZGE2LnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=888&name=image.png&originHeight=888&originWidth=1627&search=&size=448881&status=done&width=1627
[image.png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzI0Mzc4NzY4NzgtNWU1ZTY0NzgtYWNiNi00OTkwLTlhNDktMjJhNjgzYzUxMGE1LnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=425&name=image.png&originHeight=425&originWidth=1919&search=&size=164721&status=done&width=1919
[1.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzI0Mzc4MDk2MzEtNTk0NWYxNjktNDAwYi00ZDBiLWI3NzctNjMyOThiZTBmN2EzLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=2491&name=1.png&originHeight=2491&originWidth=1866&search=&size=460615&status=done&width=1866
[Link 3]: https://help.aliyun.com/document_detail/135556.html?spm=a2c4g.11186623.6.963.a82e4067jb0bZ0
[Link 4]: https://help.aliyun.com/document_detail/135602.html?spm=a2c4g.11186623.6.962.6713481fk4znCQ
[image.png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzIyNjU1MTgwNjQtYzA2ZmJlYzItYWJiNy00OTgxLWIxNjItNGZhMzUxM2ZmZWZhLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=985&name=image.png&originHeight=985&originWidth=1905&search=&size=961569&status=done&width=1905
[image.png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzIyNjczNTAxNTUtMTc3NTM1YjQtNTEwYS00NjY4LWIyNWMtOTRjZTZlMmExNzkwLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=886&name=image.png&originHeight=886&originWidth=1916&search=&size=526315&status=done&width=1916
[image.png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzIyNjkwOTM2NTYtNTc1NTg0Y2UtYjg1Mi00YmY2LTkzNjYtODY2YmI4ODRhNjgyLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=889&name=image.png&originHeight=889&originWidth=1918&search=&size=602600&status=done&width=1918
[image.png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzIyNjkyMTQ0MzItNWExZjhkYmUtYmM0YS00N2NlLWFjMmUtNzI1MjE2OGU1NzQ1LnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=887&name=image.png&originHeight=887&originWidth=1918&search=&size=519784&status=done&width=1918
[image.png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzIyNjYzMjMxMTctOWY5YzRmNDUtN2U4Zi00YjhjLWE0ZjQtMmY1NWQ5ZjY3ZDg4LnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=429&name=image.png&originHeight=429&originWidth=1090&search=&size=168358&status=done&width=1090
[image.png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzIzNTIxNzk5MzItYzc2Zjk4MTktNjUzMS00ZWE1LWE3YjAtZmUwMmVlNzAyOTAwLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=884&name=image.png&originHeight=884&originWidth=1919&search=&size=505818&status=done&width=1919
[image.png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzIzNTIyNjk3MjgtNDMwMTNlOTQtMTkyYi00ZTQ1LTk1N2YtZTY3OGY2YjU1ZjkxLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=884&name=image.png&originHeight=884&originWidth=1919&search=&size=444658&status=done&width=1919
[image.png 16]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvMzY2ODU0LzE1NzIzNTI0MTkxNTMtYzJmMTAzZWItNjZjNC00Y2FjLTk4YmEtYmM2OWE3ZjE3N2UzLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=890&name=image.png&originHeight=890&originWidth=1919&search=&size=842153&status=done&width=1919