批量向mysql导入1000万数据有什么方法

怼烎@ 2023-06-19 11:06 83阅读 0赞

## 千万级数据批量导入mysql的优化 ##

## 1.数据库引擎： ##

常见的索引引擎

*  InnoDB，现在默认的引擎，支持外键、行锁、事务。默认是一句一事务，一句一提交。事务是需要开启的，并提交或回滚来关闭的。批量录入数据，手动开启事务，并手动提交。开启事务：start transaction；提交事务：commit；回滚事务：rollback。读写效率均等，没有特别突出的地方。InnoDB对表格的管理是基于但文件的。文件包括表头、约束、数据等信息。
 *  MyISM，推荐的读库引擎，没有事务，支持索引。写效率相对于InnoDB较低，读效率相对于InnoDB高很多。MyISAM对表格的管理是基于多文件的。有表头文件、约束文件、数据文件。
 *  MGR\_MyISM，对MyISAM的一个变形优化，对表的信息做了一个额外的索引管理。
 *  MEMORY，内存引擎，数据只存储在内存，不落地到磁盘。通常应用在启动数据库的同时创建若干视图，视图使用内存引擎管理(不安全操作，对视图可写，会同步到表格)。也应用在，应用启动时，提供一个临时的表格，存储应用常用的，几乎不变的数据(如：电商中的商品类型)。

sql解析效率低，与Nosql比较

## 2.批量sql ##

insert into table\_name() values();----单条数据录入  
insert into table\_name() values(),(),();—多条数据录入。带有缓存的。可以通过命令配置，也可以通过配置文件配置。单条sql不要录入过多的数据。通常不超过3M~10M.

## 3.数据库配置：DBA处理 ##

*  配置SQL批处理缓存：
 *  配置是否记录binlog，不推荐关闭
 *  配置IO缓存

## 4.本地数据库导入：DBA处理—效率高 ##

通过txt或csv文件做本地导入，mysqlimport xxx文件

## 5.代码级开发 ##

batch批处理。找临界值，循环多次访问数据库，批量写入。  
如：临界值是2000条数据。

int i = 0;
          while(){ 
            if(i++ % 2000 == 0){ 
    	  executeBatch();
    	}
    	addBatch();
          }
          executeBatch();

## 6.索引问题 ##

索引只提升读效率，会降低写效率。

降低写效率的原因：

1.  索引是写入数据过程中维护的，将索引字段的值进行比较处理，并保存在一个树下，树是B\[+\]Tree。平衡树，查询效率高，维护效率低。  
    推荐是索引使用方式是：建表时，先不创建索引，当数据相对趋于稳定，或正式商业发布时，创建索引。
2.  索引是先内存维护，索引内存空间不足，需要持久化到磁盘。