[取得NENG - カフカ]アプリケーションパート（XV） - JavaのカフカAPI（マルチスレッドの消費者）

記事のディレクトリ

I.はじめに
II。達成するために

2.1紹介依存性
以上2.2スレッドの消費者

送信元アドレス
おすすめ商品

このブログ記事は、消費者、カフカのAPIを使用することです-マルチスレッド
より高度な使用方法は、私のブログカフカシリーズ参照
参考：
https://www.orchome.com/451
https://www.w3cschool.cn/apache_kafka/をapache_kafka_workflow.html
基準ケース「カフカエントリと実践」の一部

I.はじめに

導入に関連したカフカの概念は、公式文書やその他のボーエン見る
中国の公式文書の
 カフカ入門プレゼンテーションを

KafkaConsumerスレッドセーフではない、マルチスレッドスレッドの同期が適切に取り扱い、使用：各スレッドのためKafkaConsumerオブジェクトをインスタンス化します。
注：消費者は、パーティションの数よりも大きい場合は影響を受けたパーティションのスレッド数によって影響を受け、消費者のグループに属し、そして消費者のスレッドの一部が存在することになるアイドル状態です。

II。達成するために

2.1紹介依存性

主に春・カフカに依存しています

 <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit-dep</artifactId>
            <version>4.9</version>
            <scope>test</scope>
        </dependency>
        
        <!-- kafka start -->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>0.10.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-streams</artifactId>
            <version>0.10.1.1</version>
        </dependency>
        <!-- kafka end -->

        <dependency>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>2.2-beta-5</version>
        </dependency>
        <dependency>
            <groupId>commons-lang</groupId>
            <artifactId>commons-lang</artifactId>
            <version>2.3</version>
        </dependency>
        <dependency>
            <groupId>commons-collections</groupId>
            <artifactId>commons-collections</artifactId>
            <version>3.2.1</version>
        </dependency>
    </dependencies>

以上2.2スレッドの消費者

消費者スレッドConsumerThread.java

import java.util.Arrays;
import java.util.Map;
import java.util.Properties;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

/**
 * 消费者线程
 */
public class ConsumerThread extends Thread {

    private KafkaConsumer<String, String> consumer;

    public ConsumerThread(Map<String, Object> consumerConfig, String topic) {
        Properties props = new Properties();
        props.putAll(consumerConfig);
        this.consumer = new KafkaConsumer<String, String>(props);
        consumer.subscribe(Arrays.asList(topic));
    }

    @Override
    public void run() {
        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(1000);
                for (ConsumerRecord<String, String> record : records) {
                    System.out
                            .printf("threadId=%s,partition = %d, offset = %d,key= %s value = %s%n",
                                    Thread.currentThread().getId(),
                                    record.partition(), record.offset(),
                                    record.key(), record.value());
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            consumer.close();
        }
    }
}

消費者ConsumerExecutor.java

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.serialization.StringDeserializer;
import java.util.HashMap;
import java.util.Map;

/**
 * 消费者--多线程
 */
public class ConsumerExecutor {

    public static void main(String[] args) {
        Map<String, Object> props = new HashMap<String, Object>();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        // 消费者组
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test");
        // key序列化方式
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        // value序列化方式
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        // 自动提交偏移量
        // 如果设置成true,偏移量由auto.commit.interval.ms控制自动提交的频率
        // 如果设置成false,不需要定时的提交offset，可以自己控制offset，当消息认为已消费过了，这个时候再去提交它们的偏移量。
        // 这个很有用的，当消费的消息结合了一些处理逻辑，这个消息就不应该认为是已经消费的，直到它完成了整个处理。
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        // 自动提交的频率
        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");

        for (int i = 0; i < 5; i++) {
            new ConsumerThread(props, "my-topic-thread").start();
        }
    }
}

送信元アドレス

-CLOUD-KAFKA-ITのCLIENT：Spring統合カフカチュートリアルのソースコード。このCSDNカフカシリーズのボーエン。