python列表按照批次分配数据(亲测)

刺骨的言语ヽ痛彻心扉 2023-10-07 13:50 18阅读 0赞

`# 场景：一次取回mongodb某表-64万数据，pymongo.errors.DocumentTooLarge: BSON document too large (28888095 bytes) -`

`# the connected server supports BSON document sizes up to 16777216 bytes. 文档太大就无法返回，因此分10次取，每次`

`# 取回6400条，然后统一更新到本地的字典中。`

`import` `uuid`

`data``=` `[``1``,``2``,``3``,``4``,``5``,``6``,``7``,``8``,``9``,``3``,``5``,``6``,``7``,``8``,``9``,``6``,``5``,``4``,``3``,``8``,``9``]`

`batch_step``=` `round``(``len``(data)``/``10``)`

`for` `index``in` `range``(``0``,``len``(data), batch_step):`

```item_list``=` `data[index:index``+``batch_step]`

``

`# example`

`from` `pymongo``import` `MongoClient`

`mdb``=` `MongoClient(``'120.133.26.xxx:20002'``, username``=``'xt'``, password``=``'xxxxxx'``)`

`image_ids``=` `[``"001"``,``"002"``,``"003"``, ...]`

`image_dict``=` `{}`

`batch_step``=` `round``(``len``(image_ids)``/``10``)`

`for` `idx``in` `range``(``0``,``len``(image_ids), batch_step):`

```image_ids_part``=` `image_ids[idx:idx``+` `batch_step]`

```image_infos``=` `mdb[``'数据库名'``][``'图片表名'``].find({``"image_id"``: {``"$in"``: image_ids_part}})`

```image_one``=` `{}`

```for` `image_info``in` `image_infos:`

```if` `image_info.get(``"image_size"``):`

```image_one[image_info.get(``"image_id"``)]``=` `image_info`

```image_dict.update(image_one)`

发表评论取消回复

表情：

评论列表（有 0 条评论，18人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python软件安装教程(亲测)

Python软件安装教程一、运行环境 1、官网下载 https://www.python.org ![在这里插入图片描述][watermark_type_d3F

淡淡的烟草味﹌/ 2024年03月31日 14:48/ 0 赞/ 218 阅读

相关 Python打断点(亲测)

\ Python3.7以下大断电,没有什么用,是内置的 import pdb i = 1 while i <= 5: i += 1 pdb.set\_trace()

水深无声/ 2023年10月08日 08:46/ 0 赞/ 150 阅读

相关 python for 循环每次取n个数据(亲测)

a = \[1, 2, 3, 4, 5, 6, 7, 8, 9, 0\] n = 5 for b in \[a\[i:i + n\] for i in range(0,

素颜马尾好姑娘i/ 2023年10月07日 13:50/ 0 赞/ 115 阅读

相关 python列表按照批次分配数据(亲测)

` 场景：一次取回mongodb某表-64万数据，pymongo.errors.DocumentTooLarge: BSON document too large (28888

刺骨的言语ヽ痛彻心扉/ 2023年10月07日 13:50/ 0 赞/ 19 阅读

相关 python中二维列表的遍历方式(亲测)

第一种方式:类似于MATLAB中的二维数据索引,比较直观,容易理解 list2d = \[\[1,2,3\],\[4,5,6\]\] sum = 0 for i in

电玩女神/ 2023年10月07日 13:26/ 0 赞/ 96 阅读

相关 Python程序退出方式小结(亲测)

这篇文章主要介绍了Python程序退出方式小结，具有一定参考价值，需要的朋友可以了解下。对于如何结束一个Python程序或者用Python操作去结束一个进程等，Python

青旅半醒/ 2023年10月07日 13:23/ 0 赞/ 30 阅读

相关 git 更新远程分支列表(亲测)

有时会遇到git branch -a时总是不出现新的分支或者远程已经没有的分支在本地还有，这时就需要更新下本地的git分支保持和远程分支一致，使用下面命令即可： git re

r囧r小猫/ 2023年10月03日 08:56/ 0 赞/ 156 阅读

相关 Hive数据导入导出（亲测有效）

1 数据导入 1.1 向表中加载数据 1．语法 hive> load data [local] inpath '/opt/module/datas/stu

喜欢ヅ旅行/ 2023年03月14日 05:58/ 0 赞/ 185 阅读

相关 python按照比例分配数据集：train、test、val

把所有的xml文件分类为：val train test trainval 比例是：6:2:2 import os import random

╰半橙微兮°/ 2023年02月10日 05:12/ 0 赞/ 36 阅读

相关 [亲测]Oracle数据增删改

一、Oracle数据增删改（一）插入数据语法： INSERT INTO表名[(列名1，列名2，...)]VALUES(值1，值2，...) 执行I

ゝ一纸荒年。/ 2022年03月28日 19:59/ 0 赞/ 379 阅读