kettle 多表查询大量数据同步 mysql 分页实现

柔情只为你懂 2021-12-21 02:53 916阅读 0赞

转自：  [https://blog.csdn.net/chensirbbk/article/details/80760111][https_blog.csdn.net_chensirbbk_article_details_80760111]

Kettle批量操作流程使用（一）---单个数据源多表批量操作: [https://blog.csdn.net/wangxiaotaolhc/article/details/79310732][https_blog.csdn.net_wangxiaotaolhc_article_details_79310732]

Kettle批量操作流程使用（二）---多个数据源单表批量操作:  [https://blog.csdn.net/wangxiaotaolhc/article/details/79315834][https_blog.csdn.net_wangxiaotaolhc_article_details_79315834]

kettle 批量抽取多个表数据:  [https://blog.csdn.net/qq\_35318838/article/details/53322530][https_blog.csdn.net_qq_35318838_article_details_53322530]

KETTLE实现循环批量多表抽取添加字段:  [https://blog.csdn.net/qq\_41704358/article/details/79519133][https_blog.csdn.net_qq_41704358_article_details_79519133]

kettle 多表级联 将多个表格的查询的数据插入到一个表格中: [https://blog.csdn.net/bird\_tp/article/details/83784017][https_blog.csdn.net_bird_tp_article_details_83784017]

kettle同步多张表: [https://blog.csdn.net/Ctrain/article/details/70432078][https_blog.csdn.net_Ctrain_article_details_70432078]

kettle实现数据库迁移----多表复制向导: [https://blog.csdn.net/ncepuzhuang/article/details/41556623][https_blog.csdn.net_ncepuzhuang_article_details_41556623]

kettle 多表查询大量数据同步 mysql 分页实现:  [https://blog.csdn.net/chensirbbk/article/details/80760111][https_blog.csdn.net_chensirbbk_article_details_80760111]

版本

kettle7.0

mysql5.7

应用场景

在实际开发环境中，使用kettle同步的过程可能操作的数据非常大，几百万条，甚至上千万条。在这个过程中，如果使用kettle一次性同步数据的话，会出现内存溢出、GC未能及时释放，数据源脚本长时间无响应，在Linux下面甚至还出现：

Triggering heartbeat signal for 。。。 at every 10 seconds 这种情况的警告。

综合上面的情况，kettle + 分页 实现数据同步是一种比较好的可选方案。

在这种情况下使用mysql分页，建议大家放弃limit。

下图是主要过程：

1.设置变量：

2.检查字段值

3.使用javascript脚本验证

4.转换里面表输入的配置

\---------------------   
作者：翠花琳   
来源：CSDN   
原文：https://blog.csdn.net/chensirbbk/article/details/80760111   
版权声明：本文为博主原创文章，转载请附上博文链接！

[https_blog.csdn.net_chensirbbk_article_details_80760111]: https://blog.csdn.net/chensirbbk/article/details/80760111
[https_blog.csdn.net_wangxiaotaolhc_article_details_79310732]: https://blog.csdn.net/wangxiaotaolhc/article/details/79310732
[https_blog.csdn.net_wangxiaotaolhc_article_details_79315834]: https://blog.csdn.net/wangxiaotaolhc/article/details/79315834
[https_blog.csdn.net_qq_35318838_article_details_53322530]: https://blog.csdn.net/qq_35318838/article/details/53322530
[https_blog.csdn.net_qq_41704358_article_details_79519133]: https://blog.csdn.net/qq_41704358/article/details/79519133
[https_blog.csdn.net_bird_tp_article_details_83784017]: https://blog.csdn.net/bird_tp/article/details/83784017
[https_blog.csdn.net_Ctrain_article_details_70432078]: https://blog.csdn.net/Ctrain/article/details/70432078
[https_blog.csdn.net_ncepuzhuang_article_details_41556623]: https://blog.csdn.net/ncepuzhuang/article/details/41556623