pyMongo实现将ｃｓｖ里的数据读取到ｍｏｎｇｏｄｂ中存储

冷不防 2023-10-04 09:35 29阅读 0赞

pyMongo的存储

实现将ｃｓｖ里的数据读取到ｍｏｎｇｏｄｂ中实现存储

1.  连接mongodb
    
        myclient = pymongo.MongoClient('localhost')
2.  连接数据库
    
        db=myclient['user']
3.  创建集合，并插入内容
    
        db.student.insert({
                "name":"Tom",
                "age":16,
                "skills":[{
                        "name":"balls",
                        "attack":"guns"
                    }]
        })

#### 第一步：连接数据库的方法： ####

import pymongo
    def connectMongodb:
            myclient = pymongo.MongoClient('localhost')
            db=myclient['user']

#### 第二步：处理csv ####

import csv
    #指定文件路径
    with open("xxx.csv") as f:
    		for row in reader:
                    boat_id = row['id']
                    lat = row['lat']
                    lng = row['lng']
                    time = row['time']

#### 第三步：使用pymongo存储数据 ####

数据类型:csv

mongodb的存储类型：键值对

可以将csv的船号为key，经纬度方向等为value，通过遍历csv然后逐个insert到mongodb中

一个键值对的存储示范：

boat1={
    	"boat_id":id,
    	"vals":{
    		"lat":lat,
    		"lng":lng,
    		"time":time,
    		"vs":vs
    	}
    }

def transData(self,id,lat,lng,time,vs):
    	boat1={
    	"boat_id":id,
    	"vals":{
    		"lat":lat,
    		"lng":lng,
    		"time":time,
    		"vs":vs
    		}
    	}
    	db.aisdata.insert(boat1)

#### 简单测验 ####

import csv
    import pymongo
    
    #连接mongoDB
    mongoclient = pymongo.MongoClient('localhost')
    #连接数据库
    db = mongoclient['StoreData']
    
    #指定文件路径
    with open("../csvTest/test.csv") as f:
        reader = csv.DictReader(f)
        for row in reader:
            boat_id = row['id']
            lat = row['lat']
            lng = row['lng']
            time = row['time']
            db.data.insert({
                "boat_id":boat_id,
                "lat":lat,
                "lng":lng,
                "time":time,
            })
            print(boat_id,lat,lng,time)
        print("导入数据完成！")

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-szMIw0fU-1617011324533)(/home/gis507/.config/Typora/typora-user-images/image-20210329160758992.png)\]

#### 遇到的问题: ####

怎么才能遍历文件夹实现遍历存储所有的csv文件