多线程解决excel数据多上传问题

待我称王封你为后i 2023-06-23 13:19 32阅读 0赞

excel名单人数过多，超多140000条，单个线程处理问题，已经不能满足需求，需要做多线程的优化。再一点就是多个线程导入需要给是否导入成功的标志。
      
      首先，上传excel根据业务校验excel，这个部分省略，可以查上传excel和校验的相关知识。
      其次，就是怎么将整个excel分拆成各个小的部分，然后分线程上传。

A、将excel全部加载在内存list中（batchParams）

//存储返回导入成功的条数
    int countSuceeNumber=0;	
        //将全部excel记录发送多线程线程方法，批量导入数据
        	try{ 
        	countSuceeNumber=saveBaseInfoList(batchParams); 
            }catch(Exception e){ 
            	e.printStackTrace();
            }

B、定义方法，多线程将excel的数据存储起来

/** * 多线程批量存储数据 * @param batchParams * @return */
      public int saveBaseInfoList(List batchParams){ 
    	  int count=999;//根据数量确定一个线程处理多少条数据
          int listSize=batchParams.size();
          if(listSize>=1 && listSize<1000){ 
          	count=333;
          }else if(listSize>=1000 && listSize<10000){ 
          	count=1333;
          }else if(listSize>=10000 && listSize<30000){ 
          	count=2333;
          }else if(listSize>=30000){ 
          	count=3333;
          }
          //计算开启的线程数
          int runThreadSize=(listSize/count)+1;
          logger.info("开启的线程数量"+runThreadSize);
          //存放每个线程的执行数据
          List newList=null;
          //创建一个线程池，数量和开启线程数一样
          ExecutorService executor=Executors.newFixedThreadPool(runThreadSize);
          //存放返回结果集
          int successCountNumber=0;
          //定义completionService
          CompletionService<Integer> completionService=new ExecutorCompletionService<Integer>(executor);
          try{ 
          //循环创建线程
          for(int i=0;i<runThreadSize;i++){ 
        	  if((i+1)==runThreadSize){ 
        		  int startIndex;
        		  startIndex=(i*count);
        		  int endIndex=listSize;
        		  newList=batchParams.subList(startIndex, endIndex);
        	  }else{ 
        		  int startIndex=(i*count);
        		  int endIndex=((i+1)*count);
        		  newList=batchParams.subList(startIndex, endIndex);
        	  }
        	  createBatchInsertThread(completionService,newList);
          }
          //采用completionService.take()，内部维护阻塞队列，任务先完成的先获取到
          for(int i=0;i<runThreadSize;i++){ 
        	  Integer counts=completionService.take().get();
        	  successCountNumber+=counts;
          }
          logger.info("成功的条数"+successCountNumber);
    	  }catch(Exception e){ 
    		  e.printStackTrace();
    	  }finally{ 
    		  executor.shutdown();
    	  }
          return successCountNumber;
      }

C、调用多线程的执行类

private  Future<Integer> createBatchInsertThread(CompletionService<Integer> completionService,List newList) throws Exception{ 
    	  BatchInsertThread batchinsertThread=new BatchInsertThread(newList);
    	  @SuppressWarnings("unchecked")
    	  Future<Integer> submit = completionService.submit(batchinsertThread);
    	  return submit;
      }

D、callable()的具体执行类

public class BatchInsertThread implements Callable<Integer>{ 
    	
    	 
    	 private BaseService baseService = (BaseService) SpringContextHolder.getApplicationContext().getBean("baseService"); 
    	 private Logger logger = Logger.getLogger(getClass());
    	 List list;
    	
    	 public BatchInsertThread(){ 
    		 
    	 }
    	 
    	 public BatchInsertThread(List list){ 
    		 this.list=list;
    		
    	 }
    
    	@Override
    	public Integer call() throws Exception { 
    		try{ 
    			 logger.info("本次导入人数的大小"+list.size());
    			 baseService.batchInsert(list);
    		 }catch(Exception e){ 
    			 e.printStackTrace();
    			 logger.error(e.getMessage());
    		 }
    		return list.size();
    	}
    	 
    }

E、具体的业务执行类

@Service
    public class BaseServiceImpl implements BaseService{ 
    
    	@Resource
    	private IAthleteScoreDao athleteScoreDao;
    	
    	@Override
    	public void batchInsert(List list) throws Exception{ 
    		 Map<String, Object>[] paramArrayOfMap=(Map[])list.toArray(new HashMap[list.size()]);
             athleteScoreDao.batchAddAthleteScore(paramArrayOfMap);
    	}
    
    }

这样整个过程执行下来，读取并把合格的excel存储起来，非常的快速。