[取得NENG - カフカ]アプリケーションパート（X） - JavaのカフカのAPI（単純なプロデューサ）

その他 2020-02-10 15:59:16 訪問数: null

記事のディレクトリ

このブログ記事は、カフカのAPIを使用することで、生産者は、単純に
、より高度な使用方法は、私のブログカフカシリーズ参照
：参考
https://www.orchome.com/189
https://www.w3cschool.cn/apache_kafka/apache_kafka_workflowを。 HTML

I.はじめに

導入に関連したカフカの概念は、公式文書やその他のボーエン見る
中国の公式文書の
カフカ入門プレゼンテーションを

新しいJavaクライアントを導入するApacheのカフカ（org.apache.kafka.clientsパッケージ）は、古いScalaのクライアントを交換してください。

カフカは、4つのコアAPIがあります。

  • プロデューサーのAPIを使用すると、アプリケーションは、データがカフカクラスタトピックを流れて送信することができます。
  • 消費者のAPIは、アプリケーションがトピックカフカクラスタからのデータストリームを読み取ることができます。
  • ストリームAPIは、入力、出力話題のトピックデータ変換から流すことができます。
  • コネクタ（コネクタ）によって実装接続APIは、常にソースを引っ張るか、カフカへのアプリケーションデータの数から、またはカフカからシンクシステム（シンクシステム）やアプリケーションにデータを送信します。

II。達成するために

2.1紹介依存性

主に春・カフカに依存しています

 <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit-dep</artifactId>
            <version>4.9</version>
            <scope>test</scope>
        </dependency>
        
        <!-- kafka start -->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>0.10.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-streams</artifactId>
            <version>0.10.1.1</version>
        </dependency>
        <!-- kafka end -->

        <dependency>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>2.2-beta-5</version>
        </dependency>
        <dependency>
            <groupId>commons-lang</groupId>
            <artifactId>commons-lang</artifactId>
            <version>2.3</version>
        </dependency>
        <dependency>
            <groupId>commons-collections</groupId>
            <artifactId>commons-collections</artifactId>
            <version>3.2.1</version>
        </dependency>
    </dependencies>

2.2単純なプロデューサ

送信コールは、それが未来を返し、非同期です。将来の呼び出しは（）を取得した場合、その要求が完了するまでブロックし、関連するメッセージ・メタデータを返す、送信したり、例外をスローします。

BasicProducer.java

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
import java.util.Properties;


/**
 * 基本生产者
 */
public class BasicProducer {

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        // key序列化
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        // value序列化
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);

        // ------ 可选参数 -------
        // 确认模式
        props.put(ProducerConfig.ACKS_CONFIG, "1");
        // 重试次数，0为不启用重试机制
        props.put(ProducerConfig.RETRIES_CONFIG, 0);
        // 控制批处理大小，单位为字节
        props.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);
        // 批量发送，延迟为1毫秒，启用该功能能有效减少生产者发送消息次数，从而提高并发量
        props.put(ProducerConfig.LINGER_MS_CONFIG, 1);
        // 生产者可以使用的总内存字节来缓冲等待发送到服务器的记录
        props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);

        Producer<String, String> producer = new KafkaProducer<>(props);
        for (int i = 0; i < 10; i++) {
            producer.send(new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i)));
        }
        producer.close();
    }
}

/**
 * ----可选参数----
 *
 * configProps.put(ProducerConfig.ACKS_CONFIG, "1");
 * 确认模式, 默认1
 *
 * acks=0那么生产者将根本不会等待来自服务器的任何确认。
 * 记录将立即被添加到套接字缓冲区，并被认为已发送。在这种情况下，不能保证服务器已经收到了记录，
 * 并且<code>重试</code>配置不会生效(因为客户端通常不会知道任何故障)。每个记录返回的偏移量总是设置为-1。
 *
 * acks=1这将意味着领导者将记录写入其本地日志，但不会等待所有追随者的全部确认。
 * 在这种情况下，如果领导者在确认记录后立即失败，但在追随者复制之前，记录将会丢失。
 *
 * acks=all这些意味着leader将等待所有同步的副本确认记录。这保证了只要至少有一个同步副本仍然存在，
 * 记录就不会丢失。这是最有力的保证。这相当于acks=-1的设置。
 *
 *
 *
 * configProps.put(ProducerConfig.RETRIES_CONFIG, "3");
 * 设置一个大于零的值将导致客户端重新发送任何发送失败的记录，并可能出现暂时错误。
 * 请注意，此重试与客户机在收到错误后重新发送记录没有什么不同。
 * 如果不将max.in.flight.requests.per.connection 设置为1，则允许重试可能会更改记录的顺序，
 * 因为如果将两个批发送到单个分区，而第一个批失败并重试，但第二个批成功，则第二批中的记录可能会首先出现。
 * 注意：另外，如果delivery.timeout.ms 配置的超时在成功确认之前先过期，则在重试次数用完之前，生成请求将失败。
 *
 *
 * 其他参数：参考：http://www.shixinke.com/java/kafka-configuration
 * https://blog.csdn.net/xiaozhu_you/article/details/91493258
 */

：詳細なパラメータは、以下を参照してください。
http://www.shixinke.com/java/kafka-configuration
https://blog.csdn.net/xiaozhu_you/article/details/91493258

2.3生産コールバック

コールバックパラメータを追加送ります

BasicCallbackProducer.java

import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;
import java.util.Properties;

/**
 * 生产者--带回调
 */
public class BasicCallbackProducer {

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        // key序列化
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        // value序列化
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);

        // ------ 可选配置 -------
        // 确认模式
        props.put(ProducerConfig.ACKS_CONFIG, "1");
        // 重试次数，0为不启用重试机制
        props.put(ProducerConfig.RETRIES_CONFIG, 0);
        // 控制批处理大小，单位为字节
        props.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);
        // 批量发送，延迟为1毫秒，启用该功能能有效减少生产者发送消息次数，从而提高并发量
        props.put(ProducerConfig.LINGER_MS_CONFIG, 1);
        // 生产者可以使用的总内存字节来缓冲等待发送到服务器的记录
        props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);

        Producer<String, String> producer = new KafkaProducer<>(props);

        // ProducerRecord消息封装类
        ProducerRecord<String, String> record;
        for (int i = 0; i < 10; i++) {
            record = new ProducerRecord<String, String>("my-topic", null,
                    System.currentTimeMillis(), Integer.toString(i), Integer.toString(i));

            // 发送消息时指定一个callback, 并覆盖onCompletion()方法，在成功发送后获取消息的偏移量及分区
            producer.send(record, new Callback() {
                @Override
                public void onCompletion(RecordMetadata metaData, Exception exception) {
                    // 记录异常信息
                    if (null != exception) {
                        System.out.println("Send message exception." + exception);
                    }
                    if (null != metaData) {
                        System.out.println(String.format("offset:%s,partition:%s",
                                metaData.offset(), metaData.partition()));
                    }
                }
            });
        }

        producer.close();
    }
}

送信元アドレス

-CLOUD-KAFKA-ITのCLIENT：Spring統合カフカチュートリアルのソースコード。このCSDNカフカシリーズのボーエン。

おすすめ商品

CLOUD-IT：ITサービス管理プラットフォーム、統合基本的なサービス、ミドルウェアサービス、アラーム監視サービス。
CLOUD-ACTIVITI6-IT：Activitiチュートリアルのソースコード。このシリーズのCSDN Activitiボーエン。
CLOUD-elasticsearch-IT：elasticsearchチュートリアルのソースコード。このシリーズのCSDN elasticsearchボーエン。
CLOUD-KAFKA-IT：Spring統合カフカチュートリアルのソースコード。このCSDNカフカシリーズのボーエン。
-CLOUD-KAFKA-ITのCLIENT：カフカが住んでいたクライアントのチュートリアルのソース。このCSDNカフカシリーズのボーエン。

継続的に更新のオープンソースプロジェクト、してくださいのようなスター〜

シマシリンダ増槽 ブログの専門家
公開された160元の記事 ・ ウォン称賛46 ・ ビュー20万+
プライベートの手紙の 懸念

おすすめ

転載: blog.csdn.net/yy756127197/article/details/103904177
おすすめ
ランキング
Python 描画 3D 動的ヒストグラム コード チュートリアル
[vue3 共通エラー 5] Uncaught (in Promise) TypeError: xxx は関数ではありません
シンプルアップロードExcelファイルやデータベースにデータを追加
springboot における import アノテーションの役割
numpy 多维矩阵的维度交换
WMS システム - ウェーブ管理
Redis（7）マスター/スレーブレプリケーション
三北斗七星星座コアグローバルシステムの導入は完了です！グローバルネットワークを推進するために、
sql server语法——排序查询
続行することはできません立ち往生
アーカイブ
もっと
2024-05-16(24)
2024-05-15(5)
2024-05-14(9)
2024-05-13(8)
2024-05-12(27)
2024-05-11(31)
2024-05-10(33)
2024-05-09(30)
2024-05-08(18)
2024-05-07(34)

コードワールド

© 2018 codetd.com