使用Java进行数据校验和清洗的实例

原创以你之姓@ 2024-10-09 09:48 125阅读 0赞

在Java中，我们可以使用各种库来实现数据校验和清洗。这里我将以Apache Commons Lang和OpenCSV两个常用的库为例。

1. 数据校验（Validation）

使用`LangValidate`：

```java
import org.apache.commons.lang3.Validate;

public class ValidationExample {
    public void validateData(String name, int age) {
        Validate.notNull(name, "Name cannot be null"));
        Validate.positiveAge(age, "Age must be positive"));
    }
}
```

2. 数据清洗（Cleaning）

使用`OpenCSV`：

```java
import com.opencsv.CSVReader;

public class CleaningExample {
    public List<String[]> cleanData(String csvFilePath) throws Exception {
        CSVReader reader = new CSVReader(new FileReader(csvFilePath)));
        List<String[]> cleanedData = new ArrayList<>();
        
        String[] line;
        while ((line = reader.readNext())) != null) {
            // Clean logic goes here
            // For example, remove rows with blank fields

// If row is clean, add it to the list
            if (cleanRow(line)) {
                cleanedData.add(line);
            }
        }
        
        reader.close();
        return cleanedData;
    }
    
    private boolean cleanRow(String[] line) {
        // Your cleaning logic goes here
        // For example, check if any field is blank
        
        // If all fields are valid, return true
        return !hasBlankField(line);
    }
    
    private boolean hasBlankField(String[] line) {
        for (String field : line) {
            if (field == null || field.trim().isEmpty()) {
                return true;
            }
        }
        
        return false;
    }
}
```

这里，我们首先使用Apache Commons Lang的`Validate`工具进行数据校验。例如，检查姓名是否为null。

然后，我们使用OpenCSV库来清洗数据。在`cleanRow`方法中，你可以添加自己的清洗逻辑，比如检查字段是否为空等。

最后，通过调用`cleanData`方法并传入文件路径，你可以获取经过清洗的数据列表。