DataX-Web 解决任务批量构建Bug

我会带着你远行 2023-09-25 14:03 57阅读 0赞

前文回顾：  
[《DataX 及 DataX-Web 安装使用详解》][DataX _ DataX-Web]  
[《DataX 源码调试及打包》][DataX]  
[《DataX-Web 源码调试及打包》][DataX-Web]  
[《DataX 二次开发支持 Oracle 更新数据》][DataX _ Oracle]

--------------------

在使用任务批量构建功能过程中，偶然发现**异构数据库之间表的对应关系错乱**，最终排查是由于两边表名大小写导致 datax-web 对表名排序后顺序没对应上，因为大小写的ASCII码不一样，就比如 mysql 导入到 oracle，我们可以做如下改动。

方法一：排序时忽略大小写。

方法二：两边先全部转大写或小写排序，再取出原表名。如下

修改`com.wugui.datax.admin.service.impl.DatasourceQueryServiceImpl`类 的 getTables() 方法

@Override
    public List<String> getTables(Long id, String tableSchema) throws IOException {
        
        //获取数据源对象
        JobDatasource datasource = jobDatasourceService.getById(id);
        //queryTool组装
        if (ObjectUtil.isNull(datasource)) {
        
            return Lists.newArrayList();
        }
        if (JdbcConstants.HBASE.equals(datasource.getDatasource())) {
        
            return new HBaseQueryTool(datasource).getTableNames();
        } else if (JdbcConstants.MONGODB.equals(datasource.getDatasource())) {
        
            return new MongoDBQueryTool(datasource).getCollectionNames(datasource.getDatabaseName());
        } else if (JdbcConstants.MYSQL.equals(datasource.getDatasource()) || JdbcConstants.ORACLE.equals(datasource.getDatasource())) {
        
            //如果是MYSQL或者ORACLE 对表名重新排序
            BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);
            if (StringUtils.isBlank(tableSchema)) {
        
                List<String> list = qTool.getTableNames();
                return parseList(list);
            } else {
        
                List<String> list = qTool.getTableNames(tableSchema);
                return parseList(list);
            }
        } else {
        
            BaseQueryTool qTool = QueryToolFactory.getByDbType(datasource);
            if (StringUtils.isBlank(tableSchema)) {
        
                return qTool.getTableNames();
            } else {
        
                return qTool.getTableNames(tableSchema);
            }
        }
    }
    
    /**
    * 将集合内容大写并重新排序,然后返回原表名
    *
    * @param list
    * @return
    * @date 20220821 12"52
    */
    private List<String> parseList(List<String> list) {
        
        List<String> upList = new ArrayList<>();
        List<String> resultList = new ArrayList<>();
        Map<String,String> map=new HashMap<>();
        for (String str : list) {
        
            //转为大写加入新集合
            String upStr = str.toUpperCase();
            upList.add(upStr);
            map.put(upStr,str);
        }
        //对集合重新排序
        Collections.sort(upList);
    
        //顺序取出原表名
        for (String upstr : upList) {
        
            String oldStr=map.get(upstr);
            resultList.add(oldStr);
        }
        return resultList;
    }

--------------------

更多技术干货，请持续关注程序员大佬超。  
原创不易，转载请注明出处。

[DataX _ DataX-Web]: https://blog.csdn.net/xch_yang/article/details/128223489
[DataX]: https://blog.csdn.net/xch_yang/article/details/128240344
[DataX-Web]: https://blog.csdn.net/xch_yang/article/details/128241023
[DataX _ Oracle]: https://blog.csdn.net/xch_yang/article/details/128250190