Excel导入且进行数据校验

痛定思痛。 2024-02-21 06:55 162阅读 0赞

##  ##

**目录**

一、产品需求

二、解决方法

方案一：大量if-else判断校验

方案二：请求体加入注解进行校验

三、测试结果

--------------------

![57dabe881f2d4d7fa0dc9ef4db01ccb1.jpeg][]

##  ##

## 一、产品需求 ##

1.下载指定的excel数据模板

2.excel模板写入数据并导入

3.导入的时候根据校验规则进行筛选，导入成功的返回成功列表，数据存在问题的返回失败列表，失败列表支持数据编辑修正

> 看到需求的第一眼，可能就觉得第三点有点难度，我们知道，传统的数据校验可以通过在传输对象dto上面加注解实现。

//第一种
    public Result test1(@RequestBody @Validated TestDTO dto) {...}
    
    //第二种
    public Result test2(@RequestBody @Valid TestDTO dto{...}
    
    //第三种
    public Result test3(@RequestBody @Validated(value = {SaveGroup.class}) TestDTO dto) {...}

TestDTO里面会有一些类似 **@NotNull**、**@NotBlank**、**@Size**等校验注解，这里就不列了。

然后在全局异常拦截那里进行统一封装，使其返回的数据结构尽量保持统一，所以一般还得有一个RestExceptionHandler类。

@ControllerAdvice
    public class RestExceptionHandler {
    
        /**
         * 处理参数验证失败异常
         * @param e
         * @return
         */
        @ExceptionHandler(MethodArgumentNotValidException.class)
        @ResponseBody
        @ResponseStatus(HttpStatus.OK)
        private Response<?> methodArgumentNotValidException(MethodArgumentNotValidException e) {
            log.warn("MethodArgumentNotValidException", e);
            FieldError fieldError = e.getBindingResult().getFieldError();
            return ResponseUtils.create(CommonCodeEnum.VALIDATE_ERROR.getCode(), CommonCodeEnum.VALIDATE_ERROR.getMessage(), fieldError.getDefaultMessage());
        }
    }

讲到常见的数据校验，那么我们画风一转，再回来看需求，可见以上是不满足需求的，首先，我们的入参是一个文件流（指定的Excel模板文件），我们得先解析文件再进行数据校验，合法的放一个集合，不合法的放另一个集合；再者，即使入参是一个数组，这种校验一旦不满足立马进异常处理了，无法返回给前端正确的数据结构，所以今天就分享解决这类需求的解决方案。

## 二、解决方法 ##

**基础数据**

**UserExcelVO**

import lombok.Data;
    
    import java.util.List;
    
    /**
     *
     */
    @Data
    public class UserExcelVO {
    
        /**
         * 成功列表
         */
        private List<UserExcel> success;
    
        /**
         * 失败列表
         */
        private List<UserExcel> fail;
    }

**UserExcel**

import com.alibaba.excel.annotation.ExcelProperty;
    import lombok.AllArgsConstructor;
    import lombok.Data;
    import lombok.NoArgsConstructor;
    
    import javax.validation.constraints.NotBlank;
    import javax.validation.constraints.Pattern;
    import javax.validation.constraints.Size;
    import java.io.Serializable;
    
    /**
     *
     */
    @Data
    @AllArgsConstructor
    @NoArgsConstructor
    public class UserExcel implements Serializable {
    
        @NotBlank(message = "手机号不能为空")
        @Size(max = 4)
        @ExcelProperty(value = "用户名", index = 0)
        private String name;
    
        @ExcelProperty(value = "年龄", index = 1)
        private Integer age;
    
        @Pattern(regexp = "^[1][3,4,5,7,8][0-9]{9}$$", message = "手机号不合法")
        @NotBlank(message = "手机号不能为空")
        @ExcelProperty(value = "手机号", index = 2)
        private String mobile;
    
        @ExcelProperty(value = "性别", index = 3)
        private String sex;
    
    }

**excel模板数据**：

![48fc547fc1ed4c4384694790ce1a235b.jpeg][]

### 方案一：大量if-else判断校验 ###

import com.alibaba.excel.EasyExcel;
    import org.apache.commons.lang3.StringUtils;
    import org.springframework.web.bind.annotation.PostMapping;
    import org.springframework.web.bind.annotation.RequestParam;
    import org.springframework.web.bind.annotation.RestController;
    import org.springframework.web.multipart.MultipartFile;
    
    import java.io.IOException;
    import java.util.ArrayList;
    import java.util.List;
    
    /**
     *
     */
    @RestController
    @RequestMapping("/excel")
    public class ExcelController {
    
        @PostMapping("/importExcel1")
        public UserExcelVO importExcel(@RequestParam("file") MultipartFile file) {
            List<UserExcel> list;
            List<UserExcel> fail = new ArrayList<>();
            UserExcelVO userExcelVO = new UserExcelVO();
            String mobileReg = "^[1][3,4,5,7,8][0-9]{9}$";
            try {
                list = EasyExcel.read(file.getInputStream(), UserExcel.class, new ModelExcelListener()).sheet().doReadSync();
    
                list.forEach(data -> {
                    // 处理姓名的校验
                    if (StringUtils.isEmpty(data.getName()) || data.getName().length() > 4) {
                        fail.add(data);
                        return;
                    }
                    // 处理手机号的校验
                    if (StringUtils.isEmpty(data.getMobile()) || !data.getMobile().matches(mobileReg)) {
                        fail.add(data);
                        return;
                    }
                    // 以下根据字段多少可能有n个if...
    
                });
                userExcelVO.setFail(fail);
                list.removeAll(fail);
                userExcelVO.setSuccess(list);
            } catch (IOException e) {
                e.printStackTrace();
            }
            return userExcelVO;
        }
    
    }

### 方案二：请求体加入注解进行校验 ###

实际的业务场景，一个excel里面假如是订单数据，最少是几十个字段起步的，难道要写几十个if else吗？方案一明显是不合理的，因此使用注解的方式帮我们解决。

**ValidationUtils**

import javax.validation.Validation;
    import javax.validation.Validator;
    import javax.validation.ValidatorFactory;
    
    /**
     *
     */
    public class ValidationUtils {
    
        public static Validator getValidator() {
            return validator;
        }
    
        static Validator validator;
    
        static {
            ValidatorFactory validatorFactory = Validation.buildDefaultValidatorFactory();
            validator = validatorFactory.getValidator();
        }
    
    }

**ModelExcelListener**

import com.alibaba.excel.context.AnalysisContext;
    import com.alibaba.excel.event.AnalysisEventListener;
    import lombok.extern.slf4j.Slf4j;
    
    import java.util.ArrayList;
    import java.util.List;
    
    /**
     *
     */
    @Slf4j
    public class ModelExcelListener extends AnalysisEventListener<UserExcel> {
    
        private List<UserExcel> datas = new ArrayList<>();
    
        /**
         * 通过 AnalysisContext 对象还可以获取当前 sheet，当前行等数据
         */
        @Override
        public void invoke(UserExcel data, AnalysisContext context) {
            //数据存储到list，供批量处理，或后续自己业务逻辑处理。
            log.info("读取到数据{}",data);
            datas.add(data);
            //根据业务自行处理，可以写入数据库等等
    
        }
    
        //所有的数据解析完了调用
        @Override
        public void doAfterAllAnalysed(AnalysisContext context) {
            log.info("所有数据解析完成");
        }
    
    }

**请求**：

import com.alibaba.excel.EasyExcel;
    import org.springframework.web.bind.annotation.PostMapping;
    import org.springframework.web.bind.annotation.RequestParam;
    import org.springframework.web.bind.annotation.RestController;
    import org.springframework.web.multipart.MultipartFile;
    
    import javax.validation.ConstraintViolation;
    import java.io.IOException;
    import java.util.ArrayList;
    import java.util.List;
    import java.util.Set;
    
    /**
     *
     */
    @RestController
    @RequestMapping("/excel")
    public class ExcelController {
    
        @PostMapping("/importExcel2")
        public UserExcelVO importExcelV2(@RequestParam("file") MultipartFile file) {
            List<UserExcel> list;
            List<UserExcel> fail = new ArrayList<>();
            UserExcelVO userExcelVO = new UserExcelVO();
            try {
                list = EasyExcel.read(file.getInputStream(), UserExcel.class, new ModelExcelListener()).sheet().doReadSync();
                list.forEach(data -> {
                    Set<ConstraintViolation<UserExcel>> violations = ValidationUtils.getValidator().validate(data);
                    if (violations.size() > 0) {
                        fail.add(data);
                    }
                });
                userExcelVO.setFail(fail);
                list.removeAll(fail);
                userExcelVO.setSuccess(list);
            } catch (IOException e) {
                e.printStackTrace();
            }
            return userExcelVO;
        }
    
    }

## 三、测试结果 ##

方案一的结果：

{
        "success": [
            {
                "name": "张2",
                "age": 19,
                "mobile": "13056781235",
                "sex": "女"
            },
            {
                "name": "张3",
                "age": 20,
                "mobile": "13056781236",
                "sex": "男"
            },
            {
                "name": "张4",
                "age": 21,
                "mobile": "13056781237",
                "sex": "女"
            },
            {
                "name": "张5",
                "age": 22,
                "mobile": "13056781238",
                "sex": "男"
            },
            {
                "name": "张6",
                "age": 23,
                "mobile": "13056781239",
                "sex": "男"
            },
            {
                "name": "张7",
                "age": 24,
                "mobile": "13056781240",
                "sex": "男"
            },
            {
                "name": "张8",
                "age": 25,
                "mobile": "13056781241",
                "sex": "男"
            },
            {
                "name": "张9",
                "age": 26,
                "mobile": "13056781242",
                "sex": "男"
            }
        ],
        "fail": [
            {
                "name": "张1",
                "age": 18,
                "mobile": "3056781234",
                "sex": "男"
            },
            {
                "name": "张10",
                "age": 27,
                "mobile": "130567812436",
                "sex": "男"
            }
        ]
    }

方案二的结果：

发现两种方案的测试结果虽然是一样的，但是很明显，方案二更优秀。我们后续写代码的时候，除了做功能，也要考虑代码的扩展性，不然产品说加个功能，我们又得吭哧吭哧写代码了。

**如果这篇文章对您有所帮助，或者有所启发的话，求一键三连：点赞、评论、收藏➕关注，您的支持是我坚持写作最大的动力。**

[57dabe881f2d4d7fa0dc9ef4db01ccb1.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/7fa18df871344d7cb22cb6461b3cfb3c.png
[48fc547fc1ed4c4384694790ce1a235b.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/1c32123e5fcf404097d2e26f0a320325.png