JSON数据从MongoDB迁移到MaxCompute最佳实践

阳光穿透心脏的1/2处 2022-01-15 05:21 364阅读 0赞

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][]

*摘要：* 本文为您介绍如何利用DataWorks数据集成直接从MongoDB提取JSON字段到MaxCompute。

## 数据及账号准备 ##

首先您需要将数据上传至您的MongoDB数据库。本例中使用阿里云的 [云数据库 MongoDB 版][MongoDB]，网络类型为VPC（需申请公网地址，否则无法与DataWorks默认资源组互通），测试数据如下。

{
        "store": {
            "book": [
                 {
                    "category": "reference",
                    "author": "Nigel Rees",
                    "title": "Sayings of the Century",
                    "price": 8.95
                 },
                 {
                    "category": "fiction",
                    "author": "Evelyn Waugh",
                    "title": "Sword of Honour",
                    "price": 12.99
                 },
                 {
                     "category": "fiction",
                     "author": "J. R. R. Tolkien",
                     "title": "The Lord of the Rings",
                     "isbn": "0-395-19395-8",
                     "price": 22.99
                 }
              ],
              "bicycle": {
                  "color": "red",
                  "price": 19.95
              }
        },
        "expensive": 10
    }

登录MongoDB的DMS控制台，本例中使用的数据库为 **admin**，集合为 **userlog**，您可以在查询窗口使用 **db.userlog.find().limit(10)**命令查看已上传好的数据，如下图所示。  
![154320427332875\_zh-CN.png][154320427332875_zh-CN.png]  
此外，需提前在数据库内新建用户，用于DataWorks添加数据源。本例中使用命令 `db.createUser({user:"bookuser",pwd:"123456",roles:["root"]})`，新建用户名为 **bookuser**，密码为 **123456**，权限为 **root**。

## 使用DataWorks提取数据到MaxCompute ##

1.  新增MongoDB数据源
    
    进入DataWorks [数据集成][Link 1]控制台，新增 [MongoDB类型][MongoDB 1]数据源。  
    ![154320427332876\_zh-CN.png][154320427332876_zh-CN.png]
    
    具体参数如下所示，测试数据源连通性通过即可点击完成。由于本文中MongoDB处于VPC环境下，因此 **数据源类型**需选择 **有公网IP**。  
    ![154320427332877\_zh-CN.png][154320427332877_zh-CN.png]  
    访问地址及端口号可通过在 [MongoDB管理控制台][MongoDB 2]点击实例名称获取，如下图所示。  
    ![154320427332878\_zh-CN.png][154320427332878_zh-CN.png]
2.  新建数据同步任务
    
    在DataWorks上新建 [数据同步类型节点。][Link 2]  
    ![154320427332879\_zh-CN.png][154320427332879_zh-CN.png]  
    新建的同时，在DataWorks新建一个 [建表任务][Link 3]，用于存放JSON数据，本例中新建表名为mqdata。  
    ![154320427331544\_zh-CN.png][154320427331544_zh-CN.png]  
    表参数可以通过图形化界面完成。本例中mqdata表仅有一列，类型为string，列名为MQ data。  
    ![154320427331545\_zh-CN.png][154320427331545_zh-CN.png]  
    完成上述新建后，您可以在图形化界面进行数据同步任务参数的初步配置，如下图所示。选择目标数据源名称为odps\_first，选择目标表为刚建立的mqdata。数据来源类型为MongoDB，选择我们刚创建的数据源mongodb\_userlog。完成上述配置后， **点击转换为脚本**，跳转到脚本模式。  
    ![154320427332880\_zh-CN.png][154320427332880_zh-CN.png]  
    脚本模式代码示例如下。
    
        {
            "type": "job",
            "steps": [
                {
                    "stepType": "mongodb",
                    "parameter": {
                        "datasource": "mongodb_userlog",
         //数据源名称
                        "column": [
                            {
                                "name": "store.bicycle.color", //JSON字段路径，本例中提取color值
                                "type": "document.document.string" //本栏目的字段数需和name一致。假如您选取的JSON字段为一级字段，如本例中的expensive，则直接填写string即可。
                            }
                        ],
                        "collectionName //集合名称": "userlog"
                    },
                    "name": "Reader",
                    "category": "reader"
                },
                {
                    "stepType": "odps",
                    "parameter": {
                        "partition": "",
                        "isCompress": false,
                        "truncate": true,
                        "datasource": "odps_first",
                        "column": [
             //MaxCompute表列名                 "mqdata"
                        ],
                        "emptyAsNull": false,
                        "table": "mqdata"
                    },
                    "name": "Writer",
                    "category": "writer"
                }
            ],
            "version": "2.0",
            "order": {
                "hops": [
                    {
                        "from": "Reader",
                        "to": "Writer"
                    }
                ]
            },
            "setting": {
                "errorLimit": {
                    "record": ""
                },
                "speed": {
                    "concurrent": 2,
                    "throttle": false,
                    "dmu": 1
                }
            }
        }
    
    完成上述配置后，点击运行接即可。运行成功日志示例如下所示。  
    ![154320427331550\_zh-CN.png][154320427331550_zh-CN.png]

## 结果验证 ##

在您的 [业务流程][Link 4]中新建一个ODPS SQL节点。  
![154320427331551\_zh-CN.png][154320427331551_zh-CN.png]  
您可以输入 `SELECT * from mqdata;`语句，查看当前mqdata表中数据。当然这一步您也可以直接在 [MaxCompute客户端][MaxCompute]中输入命令运行。  
![154320427432881\_zh-CN.png][154320427432881_zh-CN.png]

作者： [付帅][Link 5]  
[原文链接][Link 6]  
本文为云栖社区原创内容，未经允许不得转载。

转载于:https://my.oschina.net/yunqi/blog/2964158

[80_]: https://my.oschina.net/u/2663968/blog/3051541
[hot3.png]: /images/20220115/0e5793a5f64e4e0c9a28bb77017fa8bc.png
[MongoDB]: https://help.aliyun.com/document_detail/66100.html?spm=a2c4e.11153940.blogcont673266.16.21da1d2assBkak#concept-sgx-3s4-w2b
[154320427332875_zh-CN.png]: /images/20220115/2de55c02f0324c3ca09653c6e8134576.png
[Link 1]: https://help.aliyun.com/document_detail/72961.html?spm=a2c4e.11153940.blogcont673266.18.21da1d2assBkak#concept-dr3-k2v-42b
[MongoDB 1]: https://help.aliyun.com/document_detail/74286.html?spm=a2c4e.11153940.blogcont673266.19.21da1d2assBkak#concept-cxg-1s1-p2b
[154320427332876_zh-CN.png]: /images/20220115/5f03e1bbef9a465aa9dd2a725cf0155a.png
[154320427332877_zh-CN.png]: /images/20220115/3658a9af59974503883419c4e2eca29a.png
[MongoDB 2]: https://mongodb.console.aliyun.com/?spm=a2c4e.11153940.blogcont673266.22.21da1d2assBkak
[154320427332878_zh-CN.png]: /images/20220115/bae1989f2aa648fd9333ad7cba75f8ef.png
[Link 2]: https://help.aliyun.com/document_detail/74325.html?spm=a2c4e.11153940.blogcont673266.24.21da1d2assBkak#concept-d33-12q-p2b
[154320427332879_zh-CN.png]: /images/20220115/7e1052fc2a9d47f3a344abb1c9f0046f.png
[Link 3]: https://help.aliyun.com/document_detail/85302.html?spm=a2c4e.11153940.blogcont673266.26.21da1d2assBkak#concept-qlb-gd4-q2b
[154320427331544_zh-CN.png]: /images/20220115/1b9ce59366de42ee8f97664b7643b372.png
[154320427331545_zh-CN.png]: /images/20220115/97c54caeb3a04e4a9a8d4c826d6c51b0.png
[154320427332880_zh-CN.png]: /images/20220115/bc7538171c3c406e9ed0ac2a288192c9.png
[154320427331550_zh-CN.png]: /images/20220115/10e11ab480bd46979194b3c82b75592f.png
[Link 4]: https://help.aliyun.com/document_detail/74422.html?spm=a2c4e.11153940.blogcont673266.31.21da1d2assBkak#concept-f3n-4nc-p2b
[154320427331551_zh-CN.png]: /images/20220115/654215cf491f4c67823715df493deec3.png
[MaxCompute]: https://help.aliyun.com/document_detail/27971.html?spm=a2c4e.11153940.blogcont673266.33.21da1d2assBkak#concept-dvj-dzw-5db
[154320427432881_zh-CN.png]: /images/20220115/db8994209c474864acbd2d94884d8d61.png
[Link 5]: https://yq.aliyun.com/users/1835634833699916?spm=a2c4e.11153940.blogcont673266.2.21da1d2assBkak
[Link 6]: http://click.aliyun.com/m/1000027340/