前言
本文记录了如何使用EasyExcel完成简单的表格解析操作,同时实现了大量数据情况下数据的分次批量入库,并记录每条数据入库的状态,以便进行结果统计。
固定模板及表数据格式的解析
实现Excel模板内容对应的实体类
import com.alibaba.excel.annotation.ExcelIgnore;
import com.alibaba.excel.annotation.ExcelProperty;
import com.alibaba.excel.annotation.write.style.ColumnWidth;
import com.alibaba.excel.annotation.write.style.ContentRowHeight;
import com.alibaba.excel.annotation.write.style.HeadRowHeight;
import lombok.Data;
import java.io.Serializable;
@Data
@ColumnWidth(24)
@HeadRowHeight(20)
@ContentRowHeight(18)
public class RuleExcel implements Serializable {
private static final long serialVersionUID = 1L;
// 被该注解修饰的实体类中的属性值,会作为excel对应的标题头文字
@ExcelProperty(value = "规则名称")
private String name;
// 被该注解修饰的实体类中的属性,会在excel与实体类的转换中被忽略
// 该变量用于标记该条实体类是否成功入库,在入库后操作后更新值为true
@ExcelIgnore
private boolean isSuccess;
}
实现AnalysisEventListener监听类
为需要读取的Excel新建一个监听类,用于专门处理该类型数据的Excel,数据库的解析逻辑主要都放在这里边。
@Data
@RequiredArgsConstructor
@EqualsAndHashCode(callSuper = true)
public class RuleExcelImportListener extends AnalysisEventListener<RuleExcel> {
/**
* 默认每隔500条存储数据库
*/
private int batchCount = 500;
/**
* 缓存的数据列表
*/
private List<RuleExcel> list = new ArrayList<>();
/**
* service
*/
private final IRuleExcelService RuleExcelService;
// 解析表头
@Override
public void invokeHeadMap(Map<Integer, String> headMap, AnalysisContext context) {
List<String> titleList = new ArrayList<>();
try {
// 获取必要表头列数据
// 获取目标属性上@ExcelProperty的值,即属性的中文名称
String[] nameValue = AnnotationUtil.getAnnotationValue(RuleExcel.class.getDeclaredField("name"), ExcelProperty.class);
titleList.add(nameValue[0]);
} catch (NoSuchFieldException e) {
e.printStackTrace();
}
// 检测获取到的Excel标题头是否合法
for (String title : titleList) {
boolean isExist = false;
for (Integer i : headMap.keySet()) {
if (title.equals(headMap.get(i))) {
isExist = true;
}
}
if (!isExist) {
throw new ExcelAnalysisException("模版标题不允许修改");
}
}
}
// 解析表格内容,一行就是一个RuleExcel实体类
@Override
public void invoke(RuleExcel RuleExcel, AnalysisContext analysisContext) {
// 数据合法性校验
if (String.isEmpty(RuleExcel.getName()) {
throw new ExcelAnalysisException("导入失败,必填项按要求填写");
}
list.add(RuleExcel);
// 数据入库2:
// 如果表格数据量很大,可以设定暂存数据量阈值,当现存list数量超过阈值后,会先向数据库中存入一批数据、清空内存后再继续解析
// 达到BATCH_COUNT,则调用importer方法入库,防止数据几万条数据在内存,容易OOM
if (list.size() >= batchCount) {
// 调用importer方法
RuleExcelService.importRuleExcel(list);
// 存储完成清理list
list.clear();
}
}
// 将所有的表格行数据解析完毕后会执行该方法
@Override
public void doAfterAllAnalysed(AnalysisContext analysisContext) {
// 数据入库1:
// 一般来说,如果确定表格数据量不大,那么可以在解析完全部excel数据后进行数据入库操作
RuleExcelService.importRuleExcel(list);
// 存储完成清理list
list.clear();
}
}
调用方法示例
public void importRuleExcel(MultipartFile file) {
// 文件后缀检查
CommonUtil.checkImportFile(file.getOriginalFilename());
InputStream inputStream;
// 存储表格解析结果
List<RuleExcel> ruleExcels = new ArrayList<>();
try {
// 将Service层变量作为依赖传入
RuleImportListener importListener = new RuleImportListener(ruleService);
inputStream = new BufferedInputStream(file.getInputStream());
// EasyExcel.read()传入:InputStream, 表格数据实体类,表格数据实体类监听器
ExcelReaderBuilder builder = EasyExcel.read(inputStream, RuleExcel.class, importListener);
// 执行同步解析操作并返回解析结果
ruleExcels = builder.doReadAllSync();
} catch (Exception e) {
throw new ServiceException(e.getMessage());
}
// 导入成功的列表
List<RuleExcel> successList = ruleExcels .stream().filter(RuleExcel::isSuccess).collect(Collectors.toList());
}
非固定模板及非固定表数据格式的解析
有时候需要读取的模板并不是固定的、实现声明好的列,对应的数据也不能解析成某个固定的实体类,这个时候就需要我们读取表的原始解析数据,并自行进行后续操作。
// EasyExcel.read()传入:InputStream, 表格数据实体类,表格数据实体类监听器
// headRowNumber()传入:表头行的所在行数
List<Map<Integer, String>> resultList = EasyExcelUtil.getEasyExcelReaderBuilder(file.getInputStream, null, null)
.headRowNumber(0).doReadAllSync();
// resultList 中存储的就是自0行开始解析到的所有数据