著者: 禅とコンピュータープログラミングの芸術
1 はじめに
Apache Kafka は、LinkedIn によって開発およびオープンソース化されたオープンソースの分散メッセージング システムです。これは元々、複数のトランスポート プロトコルを介してデータを多様なパブリッシュ/サブスクライブおよび消費できる、リアルタイム ストリーム処理プラットフォームを構築するために設計されました。時間の経過とともに、Kafka はますます多くのアプリケーション分野の基本コンポーネントとなり、さまざまな企業や組織で広く使用されています。2018 年 9 月、滴滴出行は、重要な情報やデータを外部に送信するために使用される、Apache Kafka に基づくパイロット メッセージ キュー サービスを発表しました。
この記事では、滴滴出行の商用化プロセスにおける Apache Kafka の探索と実践について、全体的なフレームワーク、Kafka の主要な機能、Kafka の使用シナリオの側面から詳しく説明し、読者により多くの知識と経験をもたらすことを目指します。
コミュニティ生態学の繁栄と健全な発展を促進するために、Didi Chuxing の商業化における Apache Kafka の実際の経験について議論するための寄稿や提案を歓迎します。
2. 背景の紹介
2.1 カフカとは何ですか?
Apache Kafka は、データ ストリームをリアルタイムで処理することを目的としたオープンソースの分散コンピューティング プラットフォームです。Kafka は、次の主な特徴を持つ高スループットの分散パブリッシュ/サブスクライブ メッセージ システムです。
- 分散: クラスター内の複数のサーバーでの展開をサポートし、マルチコアの利点を最大限に活用してパフォーマンスを向上させます。
- 信頼性: メッセージが失われないように永続性をサポートします。
- フォールト トレランス: バックアップ メカニズムを通じて、メッセージが失われないこと、または少量が失われないことを保証します。
- 効率的: メッセージはバッチで送信され、ネットワーク IO 消費量が削減されます。
- タイミング: Kafka はメッセージの順序を保証し、関連するイベントのタイムスタンプに従って並べ替えることができます。
- メッセージ エンジン: 統一されたメッセージ インターフェイスを提供し、開発者はさまざまな言語を使用できます。