序文
多くのシステムでそのようなシナリオがあると思います。ユーザーがExcelをアップロードし、バックエンドがExcelを解析して対応するデータを生成し、データが検証されて保存されます。これにより問題が発生します。Excelに多数の行がある場合、または解析が非常に複雑な場合、解析と検証のプロセスには非常に時間がかかります。インターフェイスが同期インターフェイスの場合、インターフェイスがタイムアウトしやすく、返された検証エラー情報をフロントエンドに表示できません。この問題は機能的に解決する必要があります。一般的に、サブスレッドは解析作業を開始し、メインスレッドは正常に戻り、サブスレッドはアップロードステータスと検証結果をデータベースに記録します。同時に、アップロードのステータスと検証情報をリアルタイムで照会するための照会ページが提供されます。
さらに、アップロードタスクごとにスレッドプール非同期+ロギングのコードを1回記述すると、非常に冗長になります。同時に、非ビジネスコードもビジネスコードに侵入し、コードの可読性が低下します。一般性の観点から、この種のビジネスシナリオは、テンプレートメソッドのデザインパターンに非常に適しています。つまり、抽象クラスを設計し、アップロードの抽象メソッドを定義し、ロギングのメソッドを実装します。次に例を示します。
//伪代码，省略了一些步骤
@Slf4j
public abstract class AbstractUploadService<T> {
public static ThreadFactory commonThreadFactory = new ThreadFactoryBuilder().setNameFormat("-upload-pool-%d")
.setPriority(Thread.NORM_PRIORITY).build();
public static ExecutorService uploadExecuteService = new ThreadPoolExecutor(10, 20, 300L,
TimeUnit.SECONDS, new LinkedBlockingQueue<>(1024), commonThreadFactory, new ThreadPoolExecutor.AbortPolicy());
protected abstract String upload(List<T> data);
protected void execute(String userName, List<T> data) {
// 生成一个唯一编号
String uuid = UUID.randomUUID().toString().replace("-", "");
uploadExecuteService.submit(() -> {
// 记录日志
writeLogToDb(uuid, userName, updateTime, "导入中");
// 一个字符串，用于记录upload的校验信息
String errorLog = "";
//执行上传
try {
errorLog = upload(data);
writeSuccess(uuid, "导入中", updateTime);
} catch (Exception e) {
LOGGER.error("导入错误", e);
//计入导入错误日志
writeFailToDb(uuid, "导入失败", e.getMessage(), updateTime);
}
/**
* 检查一下upload是不是返回了错误日志，如果有，需要注意记录
*
* 因为错误日志可能比较长，
* 可以写入一个文件然后上传到公司的文件服务器，
* 然后在查看结果的时候允许用户下载该文件，
* 这里不展开只做示意
*/
if (StringUtils.isNotEmpty(errorLog)) {
writeFailToDb(uuid, "导入失败", errorLog, updateTime);
}
});
}
}
复制代码上に示したように、テンプレートメソッドは繰り返しコードを大幅に減らすことができますが、それでも次の2つの問題があります。
- アップロード方法では、デッドパラメータの構造を制限する必要があります。変更があった場合、パラメータのタイプや数量を変更するのは簡単ではありません。
- アップロードされた各サービスは、この抽象クラスを継承する必要がありますが、これは単純でエレガントではありません。
上記の2つの問題を解決するために、私はよく考えます。その結果、カスタムトランザクションのコミットまたはロールバックメソッドに触発されました。アップロードの論理プロセスは、トランザクション送信の論理プロセスと非常によく似ています。どちらも実際の操作の前に初期化する必要があり、例外または成功した場合はさらに操作が実行されます。これはスライスを鳴らすことで完全に達成できるので、チームが使用する小さなホイールを作成しました。（もちろん、この小さなホイールは私の大きなチームで非常によく使用されていますが、他の人には適していないかもしれませんが、考え方は同じで、誰もが自分の機能を拡張できます）
これ以上言うのは無意味です、コーディングしましょう！
コードと実装
最初にログエンティティを定義します
public class FileUploadLog {
private Integer id;
// 唯一编码
private String batchNo;
// 上传到文件服务器的文件key
private String key;
// 错误日志文件名
private String fileName;
//上传状态
private Integer status;
//上传人
private String createName;
//上传类型
private String uploadType;
//结束时间
private Date endTime;
// 开始时间
private Date startTime;
}
复制代码次に、アップロードタイプの列挙を定義して、操作がどこにあるかを記録します
public enum UploadType {
未知(1,"未知"),
类型2(2,"类型2"),
类型1(3,"类型1");
private int code;
private String desc;
private static Map<Integer, UploadType> map = new HashMap<>();
static {
for (UploadType value : UploadType.values()) {
map.put(value.code, value);
}
}
UploadType(int code, String desc) {
this.code = code;
this.desc = desc;
}
public int getCode() {
return code;
}
public String getDesc() {
return desc;
}
public static UploadType getByCode(Integer code) {
return map.get(code);
}
}
复制代码最後に、ポイントカットを識別するための注釈を定義します
@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.METHOD})
public @interface Upload {
// 记录上传类型
UploadType type() default UploadType.未知;
}
复制代码次に、スライスを書きます
@Component
@Aspect
@Slf4j
public class UploadAspect {
public static ThreadFactory commonThreadFactory = new ThreadFactoryBuilder().setNameFormat("upload-pool-%d")
.setPriority(Thread.NORM_PRIORITY).build();
public static ExecutorService uploadExecuteService = new ThreadPoolExecutor(10, 20, 300L,
TimeUnit.SECONDS, new LinkedBlockingQueue<>(1024), commonThreadFactory, new ThreadPoolExecutor.AbortPolicy());
@Pointcut("@annotation(com.aaa.bbb.Upload)")
public void uploadPoint() {}
@Around(value = "uploadPoint()")
public Object uploadControl(ProceedingJoinPoint pjp) {
// 获取方法上的注解，进而获取uploadType
MethodSignature signature = (MethodSignature)pjp.getSignature();
Upload annotation = signature.getMethod().getAnnotation(Upload.class);
UploadType type = annotation == null ? UploadType.未知 : annotation.type();
// 获取batchNo
String batchNo = UUID.randomUUID().toString().replace("-", "");
// 初始化一条上传的日志，记录开始时间
writeLogToDB(batchNo, type, new Date)
// 线程池启动异步线程，开始执行上传的逻辑，pjp.proceed()就是你实现的上传功能
uploadExecuteService.submit(() -> {
try {
String errorMessage = pjp.proceed();
// 没有异常直接成功
if (StringUtils.isEmpty(errorMessage)) {
// 成功，写入数据库，具体不展开了
writeSuccessToDB(batchNo);
} else {
// 失败，因为返回了校验信息
fail(errorMessage, batchNo);
}
} catch (Throwable e) {
LOGGER.error("导入失败：", e);
// 失败，抛了异常，需要记录
fail(e.toString(), batchNo);
}
});
return new Object();
}
private void fail(String message, String batchNo) {
// 生成上传错误日志文件的文件key
String s3Key = UUID.randomUUID().toString().replace("-", "");
// 生成文件名称
String fileName = "错误日志_" +
DateUtil.dateToString(new Date(), "yyyy年MM月dd日HH时mm分ss秒") + ExportConstant.txtSuffix;
String filePath = "/home/xxx/xxx/" + fileName;
// 生成一个文件，写入错误数据
File file = new File(filePath);
OutputStream outputStream = null;
try {
outputStream = new FileOutputStream(file);
outputStream.write(message.getBytes());
} catch (Exception e) {
LOGGER.error("写入文件错误", e);
} finally {
try {
if (outputStream != null)
outputStream.close();
} catch (Exception e) {
LOGGER.error("关闭错误", e);
}
}
// 上传错误日志文件到文件服务器，我们用的是s3
upFileToS3(file, s3Key);
// 记录上传失败，同时记录错误日志文件地址到数据库，方便用户查看错误信息
writeFailToDB(batchNo, s3Key, fileName);
// 删除文件，防止硬盘爆炸
deleteFile(file)
}
}
复制代码この時点で、非同期アップロード機能全体が完了していますが、非常に簡単ですか？（笑う）
それで、それをどのように使用するのですか？より簡単で、サービスレイヤーにアノテーションを追加するだけで、多くてもエラー情報が返されます。
@Upload(type = UploadType.类型1)
public String upload(List<ClassOne> items) {
if (items == null || items.size() == 0) {
return;
}
//校验
String error = uploadCheck(items);
if (StringUtils.isNotEmpty) {
return error;
}
//删除旧的
deleteAll();
//插入新的
batchInsert(items);
}
复制代码エピローグ
チームの全体的な開発効率を向上させるために小さなホイールを書くのは本当に気持ちがいいです。プログラマーの最高の品質は、彼の手を解放し（怠惰？）、そして彼が書いたコードで首尾よく卒業することです。。。。。。