[24] springbootはEasyExcelとスレッドプールを使用してExcelデータのマルチスレッドインポートを実現します

Springboot の章の全体的なコラム:

会社の開発中に、Excel ファイルをインポートするという非常に一般的なインポート機能の要件に遭遇したため、顧客から大量のインポートをサポートする必要があるという要望を受け、Alibaba のEasyExcelという便利なツールを思いつきました。データベースへのインポート操作をスレッドプールを使用してマルチスレッド化することを考えました。したがって、この章ではこの操作を記録します。

QQ 交換グループナビゲーション ——> 231378628

まず、全体的なおおよそのプロセスは次のようになります。

効果：

実際のプロジェクトは、同社がパッケージ化した RPC フレームワークであり、このデモは、 mybatis-plus を統合する以前のデモを使用して直接作成されています。

まずディレクトリ構造を見てください。

図中の枠で囲んだ部分がこの章で修正・新規作成する必要のあるファイルであり、後で一つずつ解釈していきますが、この図中のクラス名をマークする場合は以下の記述が使用できます。

次に、この章で行う必要がある準備作業を紹介します。

データベーステーブル
アプリケーション構成ファイルを変更し、Tomcat の最大ファイルアップロード制限を変更します (そうしないと Excel ファイルが大きすぎるため、アップロードでエラーが報告されます)
mybatis-plus のバッチ挿入機能を有効にします。mybatis-plus には、デフォルトで insert という単一の挿入機能しかありません (独自のプロジェクトがこれを使用しない場合は、必要ありません。これは、バッチ挿入メソッドがないだけです)私のデモで）
Excelのマルチスレッドインポートインターフェースに必要な各種クラスを作成する

1. データベースとExcelファイルを準備する

2. 必要な依存関係を導入する

3. 構成ファイルを変更し、デフォルトのファイルサイズ制限を変更します。

4.mybatis-plusの一括保存機能を開く

5. 必要なツールクラスを作成する

6. ビジネスの各層にコードを作成する

7. easyExcel イベントリスナーを作成する

8. カスタムスレッドクラスを作成します

9、シングルスレッド処理とマルチスレッド処理の効率をテストする

1. データベースとExcelファイルを準備する

CREATE TABLE `deadman` (
  `uid` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL COMMENT '主键',
  `idCard` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT '身份证号',
  `userName` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT '死者姓名',
  `sex` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT '死者性别',
  `age` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT '死者年龄',
  `reason` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT '死因',
  `house` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT '安排地狱层数',
  PRIMARY KEY (`uid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3 COLLATE=utf8_bin;

2. 必要な依存関係を導入する

easyExcel のインポートに関係する主な依存関係は次のとおりです。

3. 構成ファイルを変更し、デフォルトのファイルサイズ制限を変更します。

これを変更する必要があります。変更しないと、後続のインターフェイスが入力できなくなります。デフォルトの Tomcat サーバーは、アップロードされるファイルのサイズを制限します。

スプリング:
  サーブレット:
    マルチパート:
      最大ファイルサイズ: 100MB
      最大リクエストサイズ: 100MB

サーバー: 
  tomcat:
    最大スワローサイズ: 100MB

4.mybatis-plusの一括保存機能を開く

このデモに統合されている rpc フレームワークは Mybatis-plus なので、次のようにバッチ保存を実現する方法を見つけました。

1. 新しい SpiceSqlInjector クラスを作成します

PS: クラス名のボックス選択部分に注意してください。

2. SpiceBaseMapperインターフェースクラスを作成します。

PS: 本来、ビジネスのインターフェイス層は BaseMapper を継承しますが、ここでは BaseMapper を継承し、上図に示すようにメソッドを追加します。名前はこれでなければならないことに注意してください。そうしないと、後でこのメソッドを呼び出すときにエラーが報告されます。。

3. ビジネスに必要なマッパー層を作成する

カスタマイズしたインターフェイスクラスを継承します。

このことから、DeadManMapperをインジェクションして上記メソッドを呼び出すことで一括挿入が実現できます。

次のように：

5. 必要なツールクラスを作成する

EasyExcel を介してインポートする場合、入力パラメーターを満たさないいくつかのデータ型が含まれます。このデモには次のツールクラスが含まれます。

1、MultipartFileToFileUtils

受信した MultipartFile タイプを File タイプに変換すると、コントローラーは MultipartFile タイプを受け取り、EasyExcel.read メソッドにはその File タイプが必要になります。

2、SpringJobBeanFactory

リスナークラスがマップに挿入されると、null ポインターが報告され、次のツールクラスを使用して ApplicationContextAware を継承し、Bean オブジェクトを取得します。

6. ビジネスの各層にコードを作成する

1. コントローラー層

2. データベースのエンティティクラスのマッピング

mybatis-plusに関するコメントは前回の記事をご覧ください。

3. easyExcelのエンティティクラス

インデックスは、Excel シートの上の行番号を指します。たとえば、

4. サービス層

5. サービスの実装クラス層

上記のメソッドはマルチスレッドイベントリスナーであり、次のメソッドはシングルスレッドイベントリスナーであり、2 つのメソッドを比較します。

7. easyExcel イベントリスナーを作成する

1. シングルスレッドのイベントリスナー

分析: リスナーは AnalysisEventListener クラスを継承し、ジェネリック型は上記 easyExcel で指定したエンティティクラスのオブジェクトクラスとして指定されます。このクラスの 2 つのメソッド (invoke および doAfterAllAnalysed) をオーバーライドします。

invoke(): このメソッドは Excel シートの 2 行目からデータの読み取りを開始します。

doAfterAllAnalysed(): このメソッドは、invoke がすべての Excel データを分析した後に実行されるため、このクラスにデータを格納するだけで十分です。

この時点で、シングルスレッドのインポートは完了しました。最後に、2 つのリスナーの効率を比較してテストし、マルチスレッドのイベントリスナーを作成します。

2. マルチスレッドイベントリスナー

分析: 上記の 2 つのメソッドを書き直すことでもあります。invoke メソッドの処理はそのままで、doAfterAllAnalysed メソッドの処理が変更され、作成されたスレッドタスクがスレッドプールの作成メソッドを通じてスレッドプールに投入され、スレッドプールが実行できるようになります。マルチスレッドタスク実行により、マルチスレッド実行インポート操作を実現します。

プロセス: スレッドプールを作成します——「各スレッドが処理する必要があるデータを計算します——」CountDownLatch オブジェクトを作成します (各スレッドが最後にメインスレッドに戻るようにするため)——「スレッドの数を循環させ、スレッドタスクをスレッドプールに送信します—「CountDownLatch オブジェクトの await メソッドを実行します。これにより、現在のスレッドは待機状態になり、CountDownLatch が 1 に減らされた後に現在のスレッドが起動されます—」各スレッドは、そのスレッドを処理します。独自のデータを取得し、処理後にCountDownLatchオブジェクトのcountDownメソッドを実行することで、CountDownLatchオブジェクトの値から1を引いた値――「CountDownLatchの値が0の場合（スレッドプールクラスのスレッドタスクと実行が完了したことを示す）」、メインスレッドのコードを実行します—「スレッドプールを閉じます」