js 实现 MongoDB 脚本循环处理/分段统计等复杂业务

刺骨的言语ヽ痛彻心扉 2023-07-07 08:45 37阅读 0赞

**业务需要做一个统计脚本，将一段时间内的数据按照关联设备id进行，  
并且每隔5分钟输出一条记录，记录包含统计数量**

**数据库是mongodb,mysql的以前写过类似的，可以用游标，函数等等，但是mongo好像没有这些。  
后来偶然机会查到一些资料说在Navicat上运行js语句，就决定用js写几句测试语句，发现可行  
于是决定用js来完成**

**原数据表**

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>id</td> 
   <td style="width:125px;">time</td> 
   <td style="width:165px;">deviceId</td> 
   <td style="width:151px;">其他</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td style="width:125px;">1579190460</td> 
   <td style="width:165px;">ABC</td> 
   <td style="width:151px;">&nbsp;</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td style="width:125px;">1579190520</td> 
   <td style="width:165px;">DEF</td> 
   <td style="width:151px;">&nbsp;</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td style="width:125px;">1579190880</td> 
   <td style="width:165px;">DEF</td> 
   <td style="width:151px;">&nbsp;</td> 
  </tr> 
 </tbody> 
</table>

**经过构思，决定输出表格**

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td style="width:128px;">id</td> 
   <td style="width:155px;">time</td> 
   <td style="width:100px;">deviceId</td> 
   <td style="width:116px;">total</td> 
  </tr> 
  <tr> 
   <td style="width:128px;">1</td> 
   <td style="width:155px;">2020-01-17 00:00:00</td> 
   <td style="width:100px;">ABC</td> 
   <td style="width:116px;">1</td> 
  </tr> 
  <tr> 
   <td style="width:128px;">2</td> 
   <td style="width:155px;">2020-01-17 00:00:00</td> 
   <td style="width:100px;">DEF</td> 
   <td style="width:116px;">1</td> 
  </tr> 
  <tr> 
   <td style="width:128px;">3</td> 
   <td style="width:155px;">2020-01-17 00:05:00</td> 
   <td style="width:100px;">DEF</td> 
   <td style="width:116px;">1</td> 
  </tr> 
 </tbody> 
</table>

**分析：  
1、需要将数据先按照时间间隔进行分组，再按deviceId进行分组  
2、分组功能用循环实现  
3、存储用map, 因为一个时间段只能有一个相同的deviceId，所以时间和deviceId联合可做唯一键。 map<time-deviceId>  
2、需要将时间转换成标准格式**

**实现：**

/*
     * 每天每个设备每5分钟统计
     * 修改 [startTime,endTime] 时间段
     * 统计间隔5分钟，以startTime持续递增5分钟
     */
    var startTime = 1579190400;
    var endTime = 1579276799;
    
    var map = new Map();
    var count = 0;
    print("时间段" + ", " + "设备id" + ", "+ "关联量");
    db.analyze.find({$and: [{"uptime": {$gte: startTime}}, {"uptime": {$lte: endTime}}]}).sort({"uptime":1}).forEach(
    	function(item) {
    	    
        // 数据时间内只要大于当前时间分段就上调时间分段
        // 过滤空记录的时间分段
        while(item.uptime >= startTime + 300){
            startTime = startTime + 300;    //5分钟是300秒
        }
    		
        if(map.has(startTime + "-" + item.deviceId)){
            //存在加1
            var count = map.get(startTime + "-" + item.deviceId);
            map.set(startTime + "-" + item.deviceId, count+1);
        }else{
            map.set(startTime + "-" + item.deviceId, 1);
        }
    });
    
    // 打印, 并将结果插入新的表中
    map.forEach(function(value, key) {
        
    	var strs = new Array(); //定义一数组
    	strs = key.split("-");  //字符分割
    	var crtTime = new Date(strs[0] * 1000);
    	print(dateFtt("yyyy-MM-dd hh:mm:ss", crtTime) + ", " + strs[1] + ", " + value );
    	db.analyzeBat.insert({time: dateFtt("yyyy-MM-dd hh:mm:ss", crtTime), deviceId:strs[1], total: value})
    		
    });
    
    print("完成！！");
    
    
    /**************************************时间格式化处理************************************/
    function dateFtt(fmt,date) 
    { 
      var o = { 
    	 "M+" : date.getMonth()+1,     //月份 
    	 "d+" : date.getDate(),     //日 
    	 "h+" : date.getHours(),     //小时 
    	 "m+" : date.getMinutes(),     //分 
    	 "s+" : date.getSeconds(),     //秒 
    	 "q+" : Math.floor((date.getMonth()+3)/3), //季度 
    	 "S" : date.getMilliseconds()    //毫秒 
      }; 
    	if(/(y+)/.test(fmt)){
    		fmt=fmt.replace(RegExp.$1, (date.getFullYear()+"").substr(4 - RegExp.$1.length)); 
    	}
    	for(var k in o) {
    		if(new RegExp("(" + k + ")").test(fmt))
    		fmt = fmt.replace(RegExp.$1, (RegExp.$1.length == 1) ?(o[k]): (("00" + o[k]).substr(("" + o[k]).length)));
    	}
    	return fmt; 
    }

**拓展**  
**查询只返回某字段：**  
var users = db.getCollection("User").find( \{\}, \{name: 1 \})  
**List循环：**  
users.forEach(function(value) \{  
    print(value.account)  
\});  
**数组添加元素：**  
var strs = new Array();   
strs.push("8888888");  
**数据库插入某个字段(其他保留)：**  
db.getCollection('User').update(\{ name : "aa" \}, \{$addToSet: \{'age': 99\}\}

**运行**  
可以放到Navicat的【查询】面板执行，也可以放到 robo3t 执行

### 问题排查 ###

错误提示 No converter found capable of converting from type \[org.bson.BsonUndefined\] to type \[java.lang.Integer\]

原因是脚本写入空的数据，在数据库里面是 Undefined 。造成代码读取报错

解决方式：[https://blog.csdn.net/Halleycomett/article/details/78472049][https_blog.csdn.net_Halleycomett_article_details_78472049]

[https_blog.csdn.net_Halleycomett_article_details_78472049]: https://blog.csdn.net/Halleycomett/article/details/78472049