ElasticSearch中bulkProcesser使用遇到的问题

废话不多说,直接上代码。在批量插入的时候,我设置当请求超过1000个(条件一),或者总大小超过1024MB时(条件二),或者当请求个数和大小都不满足要求时我设置的是每30s(条件三)执行触发批量提交动作。
但是当我实际运行的时候,180条数据几乎就是瞬间完成的。也就是说我设置的三个条件并没有生效。
有没有大佬遇到过这种问题?我代码的问题在哪里?

package com.yuguo.es.bulkapi;

/**

  • Elasticsearch的Bulk API允许批量提交index和delete请求。

  • @author : FangRonghao

  • @date : 2018年12月7日

  • @description
    */
    @Slf4j
    @RestController
    public class EsBulkApi {

    @Autowired
    private ElasticsearchConfig esConfig;

    /*es 索引 index/
    public static final String TEST_SEARCH_INDEX = “test.search”;
    /*es 类型 type/
    public static final String TEST_SEARCH_TYPE = “test_search”;

    /**

    • bulkapi
    • 在例子中,当请求超过50个(default=1000)或者总大小超过5MB(default=5MB)时,触发批量提交动作。
      /
      public void bulkApiAction2(){
      EsClientPool pool = EsUtils.esClientPool(esConfig);
      EsClient esClient = pool.getEsClient();
      BulkProcessor bulkProcessor = null;
      SimpleDateFormat sdf = new SimpleDateFormat(“yyyy-MM-dd HH:mm:ss”);
      try {
      bulkProcessor = BulkProcessor.builder(esClient.getClient(),
      new BulkProcessor.Listener() {
      /
      *
      * beforeBulk会在批量提交之前执行,可以从BulkRequest中获取请求信息request.requests()或者请求数量request.numberOfActions()。
      /
      @Override
      public void beforeBulk(long executionId, BulkRequest request) {
      // TODO Auto-generated method stub
      log.info("—尝试插入{}条数据—", request.numberOfActions());
      }
      /
      *
      * 会在批量失败后执行。
      /
      @Override
      public void afterBulk(long executionId, BulkRequest request, Throwable failure) {
      // TODO Auto-generated method stub
      log.error("[es错误]—尝试插入数据失败—", failure);
      }
      /
      *
      * 会在批量成功后执行,可以跟beforeBulk配合计算批量所需时间。
      */
      @Override
      public void afterBulk(long executionId, BulkRequest request, BulkResponse response) {
      // TODO Auto-generated method stub
      boolean hasFailures = response.hasFailures();
      if(hasFailures){
      String buildFailureMessage = response.buildFailureMessage();
      log.info("—尝试插入{}条数据失败—", request.numberOfActions());
      log.info("—失败原因—"+buildFailureMessage);
      } else{
      log.info("—尝试插入{}条数据成功—", request.numberOfActions());
      }
      }
      })
      .setBulkActions(1000)
      .setBulkSize(new ByteSizeValue(1024, ByteSizeUnit.MB))
      .setFlushInterval(TimeValue.timeValueSeconds(30))
      .build();
      for(int i=0; i<180; i++){
      Map<String,Object> searchMap = new HashMap<String,Object>();
      searchMap.put(“userId”, i);
      searchMap.put(“userName”, “yuguo”+i);
      searchMap.put(“createTime”, sdf.format(new Date()));
      bulkProcessor.add(new IndexRequest(TEST_SEARCH_INDEX, TEST_SEARCH_TYPE, i+"").source(searchMap));
      }
      } catch (Exception e) {
      log.error(“bulk api action error”,e);
      } finally {
      if(bulkProcessor != null) bulkProcessor.close();
      pool.removeEsClient(esClient);
      }
      }

}

猜你喜欢

转载自blog.csdn.net/weixin_43833817/article/details/84882318