3つのストレージコードの分析

昼に生き残り、夜に発展する。
輸入ビジネスの話をする、完璧なコードを見せる、忙しい、ハードをスキップする、より良い結果を出す、変化を待つ、挑戦する、生き残る。
デンペンディを解決するのが難しいのはうれしいです。

目次

概要

Web クローリングは非常に一般的なニーズです。

必要：

デザインのアイデア

思考分析を実現する

1. シングルバッチ式

private void processSingle(List<Map<String, Object>> list1) {
    
    
		//1.遍历
		for (int i=0;i<list1.size();i++){
    
    
			//4.转化对应的map记录
			Map<String, Object> dataMap = list1.get(i);
			Map<Object,Object> dm=new HashMap<>();
			for (Map.Entry<String, Object> entry : dataMap.entrySet()) {
    
    

				dm.put(lineToHump(entry.getKey()),  entry.getValue());
				dm.put("description","描述");
				dm.put("year",2008);
				dm.put("trxId","交易ID");
				dm.put("contractNo","12332131");
				dm.put("deadline",12332L);
			}
			ArcDocument arcDocument =arcDocumentConvert.convert(dm);
			arcDocumentService.createDoc(arcDocument);
			log.info("Do create action, id={}"+" 记录数={}", arcDocument.getId(),i);
		}
	}

2.バッチ式

private void processBatch(List<Map<String, Object>> list1) {
    
    
		ArrayList<ArcDocument> docList=new ArrayList<>();
		//1.遍历
		for (int i=0;i<list1.size();i++){
    
    
			//4.转化对应的map记录
			Map<String, Object> dataMap = list1.get(i);
			Map<Object,Object> dm=new HashMap<>();
			for (Map.Entry<String, Object> entry : dataMap.entrySet()) {
    
    

				dm.put(lineToHump(entry.getKey()),  entry.getValue());
				dm.put("description","描述");
				dm.put("year",2008);
				dm.put("trxId","交易ID");
				dm.put("contractNo","12332131");
				dm.put("deadline",12332L);
			}
			ArcDocument arcDocument =arcDocumentConvert.convert(dm);
			docList.add(arcDocument);
			log.info("batch action, id={}"+" 记录数={}", arcDocument.getId(),i);
		}
		arcDocumentService.insertBatch(docList);
	}

非同期コード スタイル:

 /**
     * Elasticsearch数据导入
     */
    public void addElasticsearchData(List<Map<String, Object>> addEsDataMapList) {
    
    
        //获取连接
        RestHighLevelClient client = restHighLevelClient();
        try {
    
    
            //创建请求
            BulkRequest bulkRequest = new BulkRequest();
            //创建index请求 千万注意，这个写在循环外侧，否则UDP协议会有丢数据的情况，看运气
            IndexRequest requestData = null;
            Map<Object,Object> dataMap=new HashMap<>();
            for (Map<String, Object> addEsDataMap : addEsDataMapList) {
    
    //添加数据
                    for (Map.Entry<String, Object> entry : addEsDataMap.entrySet()) {
    
    
                        dataMap.put(lineToHump(entry.getKey()),  entry.getValue());
                        dataMap.put("description","描述");
                        dataMap.put("year",2008);
                        dataMap.put("trxId","交易ID");
                        dataMap.put("contractNo","12332131");
                        dataMap.put("deadline",12332L);
                    }

                ArcDocument arcDocument =arcDocumentConvert.convert(dataMap);

                requestData=new IndexRequest(arc_document, "_doc", dataMap.get("arcId").toString()).source(arcDocument, XContentType.JSON);
                bulkRequest.add(requestData);
            }
            log.info("es同步数据数量:{}", bulkRequest.numberOfActions());
            //设置索引刷新规则
            bulkRequest.setRefreshPolicy(WriteRequest.RefreshPolicy.IMMEDIATE);
            //分批次提交，数量控制
            if (bulkRequest.numberOfActions() >= 1) {
    
    
//                BulkResponse bulkResponse = client.bulk(bulkRequest, RequestOptions.DEFAULT);
//                log.info("es同步数据结果:{}", bulkResponse.hasFailures());

                BulkResponse bulkResponse = client.bulk(bulkRequest, RequestOptions.DEFAULT);
                if(bulkResponse.hasFailures()){
    
    
                    log.info("数据写入失败：{}",bulkResponse.buildFailureMessage());
                }else {
    
    
                    log.info("实时消息es写入成功");

                }
            }
        } catch (Exception e) {
    
    
            e.printStackTrace();
            log.error("es同步数据执行失败:{}", addEsDataMapList);
        } finally {
    
    
            try {
    
    
                client.close();
            } catch (IOException e) {
    
    
                e.printStackTrace();
            }
        }
    }

拡張実装

参照先: github: 上記のプロセスの簡単な実装:
初級レベルの実装:
: [部分的なソース コードの実装]
: ソース コードの実装

パフォーマンス パラメータ テスト:

参考文献と推奨読書

1. いいえまだ

お読みいただきありがとうございます。お役に立ちましたら、「いいね」と「フォロー」をお願いします。〜