中遠銀行: StarRocks に基づいた OLAP フルシナリオアーキテクチャソリューションを構築し、急速な統合の時代に突入

著者: プロリサーチ ifenxi

近年、銀行業務のビジネスシナリオの継続的な充実と事業規模の継続的な拡大に伴い、ユーザーのオンラインおよびオフライン取引は大幅に増加し、データ量とデータの種類はより豊富になり、数多くの革新的なデータ分析が行われています。特にリアルタイムデータの価値の徹底的な探索とデータベースクエリと分析のパフォーマンスの向上の観点から、分析データベースのストレージとコンピューティング能力を必要とするアプリケーションシナリオが登場しています。上記のニーズを満たすために、銀行はデータベースシステムを再構築し、アーキテクチャを簡素化しながらビジネスニーズをサポートできるように既存の分析データベースを変換し始めています。

最近、デジタル市場に焦点を当てた調査およびコンサルティング組織である AiAnalysis は、多数の国内大手銀行について詳細な調査を実施しました。業界におけるデジタルトランスフォーメーションの実践事例。実践的なリーダーシップ、事例の革新、アプリケーションの成熟度、価値創造の 4 つの側面を中心に複数の実践事例が選択されました。複数回の選考と競争を経て、StarRocks が技術サポート付きで提供する「中原銀行 OLAP フルシナリオアーキテクチャソリューション」ケースは、完全かつパーソナライズされたソリューションに依存しています。実施計画および優秀プロジェクトその成果が、優れた革新的実践事例として選出されました。このケースでは、中原銀行は StarRocks を使用してデータ分析アーキテクチャを変革およびアップグレードし、新しいデータ分析プラットフォームを構築して、データ使用効率を向上させ、銀行の運営管理と事業開発を強化しました。

#01

データ量が急増し、ビジネスシナリオが多様化しているため、中原銀行のデータプラットフォームはアップグレードする必要があります。

—

中原銀行は2014年に設立され、河南省唯一の省級法人銀行で、今年の改革・再編を経て、銀行の総資産は1兆2000億元を超え、18の支店、400以上の営業所を有し、2万元を擁している。 10 人以上の従業員と 17 の子会社を擁し、資産が 1 兆元を超える河南省初の都市商業銀行となっています。

ビジネスの継続的な拡大、データ量の急速な増加、ビジネスロジックの複雑化に伴い、銀行は顧客により迅速に対応し、より正確なサービスを提供する必要があります。つまり、リアルタイムデータを使用して顧客の洞察を得る必要があります。銀行経営者やビジネス担当者がビジネス上の意思決定を行い、管理レベルを向上できるよう支援します。この目的を達成するために、中原銀行はワンストップのビジネスインテリジェンス BI プラットフォームを構築しました。このプラットフォームは、顧客行動分析システムの Zhiqiu、ワンストップのレポートプラットフォームの Luban、ワンストップの大手企業である Hontu の 4 つの主要なアプリケーションシステムに分かれています。スクリーンプラットフォームとセルフサービス分析プラットフォームのYunjianの合計ユーザー数は10,000人を超え、月間アクティブユーザー数は3,000人以上、月間平均クリック数は200,000回以上で、ユーザー規模が大きく、使用頻度が高いです。

BI プラットフォームの高速かつ効率的な作業をサポートするために、中原銀行は完全なデータプラットフォームも構築しました。データプラットフォームは、データソース、データ送信、データの保存と計算、データサービス、データアプリケーションの 5 つの部分に分かれています。データソースは、Oracleデータベースを介してコアデータ、クレジットデータ、パフォーマンスデータなどを保存します。データ伝送は主に、中原銀行が独自に開発したBaichuanオフライン同期プラットフォームとリアルタイム伝送ARプラットフォームに依存しています。ストレージおよびコンピューティング層は主に、データレイク、オフラインデータウェアハウス、リアルタイムデータウェアハウスの 3 つの部分に分かれています。このうち、データレイクには半構造化データ、非構造化データ、一部のシステムログと履歴データが保存され、オフラインデータウェアハウスは Gauss DB に基づいてバッチ操作を完了し、データをレイヤーごとに処理して読み取りクラスターに送信します。クエリ、リアルタイムデータウェアハウスは、リアルタイムデータを処理して、リアルタイムの意思決定を支援します。データサービスは主に、保存されたレポート、分析および計算データをクエリします。データアプリケーションレベルは銀行口座管理者向けで、ビジネスインテリジェンス BI プラットフォーム、パフォーマンス分析、その他のアプリケーションシステムが含まれます。

(中遠銀行変革前のOLAPプラットフォームアーキテクチャ)

既存のビジネスインテリジェンス BI プラットフォームとビッグデータプラットフォームは中原銀行のビジネス上の問題のほとんどを解決できましたが、デジタルトランスフォーメーションが徐々に深層水域に入るにつれて、各ビジネスシナリオではデータ利用効率に対するより高い要件が求められています。具体的には以下に反映されます。

クエリの効率を早急に改善する必要があります。 MPP と Hadoop をベースとした中原銀行独自のデータプラットフォームは、クエリ効率、特にマルチテーブル関連のクエリ効率が低く、BI プラットフォームの平均消費時間は 10 秒を超え、平均消費時間は 10 秒を超えています。 Zhiqiu システムこの処理は 20 秒以上続き、顧客の詳細な分析と銀行の営業状況の管理に重大な影響を与えます。したがって、銀行は、優れた分析パフォーマンスを確保するために、ビジネス、業務、管理データ、特に複雑な関連データのクエリ機能を向上させる必要があります。
データプラットフォームアーキテクチャをアップグレードし、リアルタイムデータの価値を深く探求する必要があります。 元のデータプラットフォームアーキテクチャに基づくと、T+1 時間レベルの準リアルタイムレポートのみをサポートできます。最新の時間ごとのタスクバッチが完了するまで待つ必要があります。顧客分析やリスク管理管理などのシナリオにおける銀行のリアルタイムのクエリと分析のニーズを満たすことは困難ですが、最新の時点でデータをクエリできます。また、独自のアーキテクチャでは、リアルタイムデータのクエリと分析を実現するために、Oracle-ARデータ伝送プラットフォーム-Kafka-Flink-Kafkaという長いリンクが必要でした。したがって、銀行は、ビジネスの成長によってもたらされるリアルタイムのニーズを満たすために、データプラットフォームアーキテクチャ、特にデータ分析レイヤーのアーキテクチャを包括的にアップグレードする必要があります。
運用とメンテナンスのコストを削減するには、統合されたデータアーキテクチャが必要です。 元のデータプラットフォームには複雑なストリーミングとバッチリンクがあり、運用とメンテナンスのコストが高く、リアルタイムデータとオフラインデータのストレージが統合されていないため、冗長性が生じ、データの無駄が発生します。ストレージとコンピューティングリソース。したがって、中原銀行はデータプラットフォームアーキテクチャを簡素化し、オフラインデータとリアルタイムデータを統合的かつ効率的に管理する必要があります。

#02

包括的な多次元調査の結果、OLAP アーキテクチャをアップグレードするために StarRocks が最終的に選択されました。

—

上記のニーズに基づいて、中原銀行は、データの統一管理と効率的な適用を確保し、リアルタイム応答能力を向上させるために、元のデータプラットフォームのデータ分析アーキテクチャを包括的にアップグレードおよび変革することを決定しました。

市場で主流の 2 つの OLAP データベース製品を調査した結果、ClickHouse は単一テーブルクエリと幅の広いテーブルクエリで優れたパフォーマンスを発揮し、クエリのレイテンシが比較的低いことがわかりましたが、結合パフォーマンスは低く維持が困難であり、StarRocks はパフォーマンスが低いことがわかりました。堅牢なクエリと柔軟なクエリに優れており、分析パフォーマンスが良好で、複数テーブルクエリのパフォーマンスも優れており、リアルタイムとオフラインの両方のインポート分析シナリオをサポートしています。同時に、StarRocks 分析データベースには 6 つの大きな利点があります。ストリームとバッチの統合、ベクトル化された実行、シンプルな操作とメンテナンス、高いクエリ効率、良好な互換性、および高い同時クエリ要件を満たす機能であり、中原銀行のニーズを正確に満たしています。非常に高速で統合されたデータを構築するためのアーキテクチャのビジネス要件を分析します。

具体的には、データベースはリアルタイムとバッチの両方のデータインポート方法をサポートし、非常に高速な統合分析を実現します。ベクトル化テクノロジを完全に採用し、CPU の SIMD 命令セットに適応して並列コンピューティング機能を最大限に発揮します。インストールとデプロイが可能であり、効率が高いです。拡張が簡単で、拡張および縮小中にダウンタイムが必要ありません。ビューをインテリジェントにマテリアライズし、インテリジェントな CBO オプティマイザーを通じて 1 秒未満の多次元分析機能を提供できます。MySQL と互換性があります。プロトコル構文と MySQL エコシステムを備えているため、ユーザーはすぐに使い始めることができますが、同時に、平均を超えるクエリ QPS を備えた、高性能で同時実行性の高い対話型分析エクスペリエンスを顧客に提供することもできます。 6 つの主要な利点は相互に補完し、高速で統合されたデータ分析アーキテクチャを構築するという中原銀行のビジネスニーズを正確に満たします。

(中遠銀行 OLAP クエリエンジン選択比較表)

StarRocks 分析データベースと Zhiqiu 顧客インサイトシステムのデータインポートパフォーマンス、クエリ応答速度、一致度の POC テストを通じて、データベースがエクストリームビジネスのデータインポートパフォーマンス要件を満たし、Zhiqiu のパフォーマンスを大幅に向上できることが判明しました。システム変換分析、顧客グループのセグメンテーション、クエリ、アクティブユーザークエリ、その他のアプリケーションクエリの効率が向上し、銀行オリジナルの MPP データベースと比較して、平均パフォーマンスが 3.87 倍向上しました。

StarRocks は、「データの価値を最大化するために、複雑なクエリ、高い同時実行性、リアルタイム分析などのさまざまなシナリオに向けた、新世代の超高速オールシナリオ MPP データベースを作成する」という原則を遵守しています。次期 StarRocks 3.0 は、超高速分析と超高速データレイク分析を同時に実行するユーザーのサポートに注力しています。 StarRocks はまた、エコシステムの開発とコミュニティを強化するために複数の関係者と協力することにも力を入れており、Alibaba Cloud Computing Platform Division 製品ソリューションのゼネラルマネージャーである Chen Li 氏はかつて次のように述べています。 Data Lake 3.0.1 のリアルタイム製品。これまでに、StarRocks は 170 以上の大企業による新しいデータ分析機能の構築を支援してきました。実稼働環境で実行されている StarRocks サーバーの数は数千に達しています。そのコミュニティユーザーは 7,000 人を超え、国内外の業界リーダー数十社を魅了しています。企業は共同建設。

上記の結果に基づいて、中原銀行は最終的に、高い製品成熟度、銀行の主流技術と一致する技術スタック、完全な機能、高いセキュリティ、高いクエリ効率、高いコミュニティ活動を備えた StarRocks 分析データベースを選択しました。

#03

StarRocks は、中原銀行が OLAP アーキテクチャを段階的にアップグレードするのを支援します

—

選定完了後、中原銀行は OLAP アーキテクチャの変革を開始しました。このプロジェクトは、クラスター構築、オフライン業務実践、リアルタイム業務実践の 3 つの段階に分かれています。

(データ分析アーキテクチャの変革パス)

クラスター構築

クラスター構築は、オフライン伝送プラットフォーム Baichuan とストリームコンピューティングプラットフォームとのドッキング、StarRocks クラスターの計画と構築、マシンリソースのアプリケーションと割り当てなど、変革の前の準備作業であり、この段階で基盤を築きます。データ分析アーキテクチャの秩序あるアップグレード。

オフラインでの商習慣

低いオフラインデータクエリ効率と低い分析パフォーマンスの問題を解決するために、中原銀行は固定オフラインレポートを StarRocks に移行し、Zhiqiu 顧客行動分析システムを変革しました。

同銀行の定型レポートは、柔軟分析、視点分析、スプレッドシート、ビジュアルレポートの4つの形式に分かれており、合計2,800枚以上あり、企業、個人、業績、リスク、システム指標などのさまざまなシーンで幅広く活用されています。監視。新しいテーブルステートメントを更新し、元の関数を StarRocks の内部関数に変換することにより、中原銀行は固定オフラインレポートの自動移行を実現しました。

(固定オフラインレポート移行計画)

移行されたレポートには 3 つの主要な機能があります。まず、ソート列の前にプレフィックスインデックスが導入され、これによりデータを迅速にフィルタリングし、データスキャンの量を削減し、開始ターゲット行を迅速に見つけることができます。次に、カーディナリティの高い列 (一意の ID など) が選択されます。バケットキーを使用して、各バケット内でデータが可能な限りバランスが取れていることを確認します。最後に、デフォルトで 3 つのコピーがあり、特定のマシンまたはコピーへの損傷がビジネスクエリに影響を与えないように、異なるコピーが異なる BE に保存されます。これら 3 つの機能により、データ欠落の問題が回避されるだけでなく、クエリ効率も確実に向上します。

Zhiqiu 顧客行動分析システムには、顧客獲得分析、成長分析、維持分析、コミュニケーション分析、機能分析の 5 つの主要な分析シナリオがありますが、その分析に必要なレポートは、ほとんどが数億レベルの大きくて広いテーブルであり、複数テーブル関連のクエリのため、クエリ効率が低く、分析パフォーマンスも悪くなります。そこで、中原銀行は、クエリ応答速度を向上させるために、すべての分析シナリオをスターロックスに移管し、次に、保有分析シナリオのビットマップ変換を実行しました。単一条件またはすべてのクエリのクエリがビットマップ交差および和集合計算モードにアップグレードされました。これにより、顧客データのクエリと分析の柔軟性と適時性が大幅に向上し、顧客行動分析の種類も強化されました。

リアルタイムのビジネス慣行

リアルタイムのデータ読み取りと書き込みの効率が低いことは、顧客に対する深い洞察と運用管理クエリの効率に深刻な影響を及ぼしているため、中原銀行は、オリジナルのデータプラットフォームに基づいてデータストレージおよびコンピューティング層とデータサービス層を変革しました。アーキテクチャを構築し、リアルタイムデータウェアハウスを構築しました。

(中原銀行の変革されたデータプラットフォームアーキテクチャ)

リアルタイムデータウェアハウスの構築後、データ送信は一律に Kafka に抽出されてプッシュされるのではなく、ブローカーロード方式を使用してオフラインデータが StarRocks に直接インポートされ、T+1 データが迅速に分析および処理されます。関連する SQL コマンドを通じて、リアルタイムデータが Flink コネクタを通じてインポートされ、Oracle-Kafka-Flink-StarRocks のリアルタイムリンクが実現され、リアルタイムクエリと計算の効率が大幅に向上します。同時に、元の ES リアルタイムディメンションテーブルは、StarRocks の主キーモデルのデータテーブルに変換され、カスタム主キー、指標列、第 2 レベルのインポートとクエリをサポートし、最新のデータを返すことができます。これにより、リアルタイムデータ使用効率の向上も促進されます。

このリアルタイムデータウェアハウスアーキテクチャは、中原銀行のオフラインデータとリアルタイムデータを統合し、データの冗長性を大幅に削減すると同時に、第 2 レベルのインポートとクエリをサポートし、ビジネスの適時性と多様性を向上させます。

#04

プラットフォームアーキテクチャをアップグレードし、クエリ効率を最適化し、リアルタイムの応答を実現し、データ使用効率を向上させます。

—

現在、中原銀行は StarRocks を使用して固定取引明細書の移行、Zhiqiu システムの変革、リアルタイムデータウェアハウスの構築を完了し、銀行のデータインポート、クエリ、分析の効率を大幅に向上させました。全体的な変換後の具体的な効果は次のとおりです。

固定レポートの移行効率とクエリ効率が大幅に向上しました。 レポートの 70% は自動移行によって完了できます。移行完了後は、固定レポートクエリの効率が 2.7 倍に向上し、所要時間は 3 秒未満に短縮されます。特に、元々の時間のかかるランキング上位 10 件のレポートのクエリ効率が 10 倍以上向上しており、改善効果は明らかです。

セルフサービスの顧客行動分析を実現し、クエリ効率を大幅に向上させます。 現在、Zhiqiu システムの 13 のビジネスシナリオすべてが移行されました。その中で、保持分析のためにビットマップ変換が実行され、クエリ効率が 10 倍以上向上しました。他のモジュールの効率は平均 3 倍以上向上しており、平均クエリ時間は 5.8 秒です。

第 2 レベルの応答を実現するためのリアルタイムアーキテクチャのアップグレード。 リアルタイムデータウェアハウスを構築することで、最新の融資やその他のビジネスデータのリアルタイムクエリに数秒で応答できるようになり、経営上の意思決定の効率が従来よりも向上します。 T+1 時間から秒。リアルタイムの預金および融資レポートアプリケーションでは、ビジネス担当者は第 2 レベルまで正確な最新データを照会でき、預金の確認にかかる時間が平均 30 分から 5 秒に短縮され、360 分の 1 に増加しました。

リアルタイムの大型画面を通じて銀行の業務と管理をリアルタイムで監視します。 中原銀行は、リアルタイムデータウェアハウスに基づいて、リアルタイム大画面のアプリケーションシナリオを大幅に強化しました。現在、インテリジェントな業務成長プラットフォームは連絡先のコンバージョンデータをリアルタイムで監視でき、Hongtu の大型スクリーンでは企業の預金残高、企業向け融資、法人顧客の総数、企業ランキングをリアルタイムで確認でき、ビジネス担当者の業務運営を支援します。リアルタイムの分析と意思決定。当日の各プロジェクトチームの DevOps R&D パフォーマンスパイプラインのリリースステータス、リリース成功率、失敗率、ランキングをリアルタイムで表示することもできます。

#05

中原銀行は、都市商業銀行の OLAP アーキテクチャをアップグレードするための革新的な実践モデルを提供しています。

—

私の国で第8位の都市商業銀行である中原銀行は、StarRocksと協力してアップグレードしたOLAPプロジェクトにより、比較的完全なデータプラットフォーム構築を備えた同規模の他の都市商業銀行のベンチマークを設定しました。

まず、銀行は変革前にビジネスニーズを徹底的に分析し、それに基づいて選択を行う必要があります。現在、市場には多くの分析データベースメーカーが存在しており、それぞれの製品に異なる利点がありますが、銀行は購買動向を盲目的に追うことはできず、ビジネスニーズを分析し、技術的適合性、技術的適合性、セキュリティ、コミュニティ活動を考慮して、ビジネスニーズを満たし、技術的なフレームワークに適応する分析データベースを選択します。このプロジェクトでは、データ利用効率の向上という中核要件に基づいて、中原銀行は 9 つの側面から調査を行い、最終的にクエリ効率、技術アーキテクチャ、互換性において明らかな利点を持つ StarRocks を選択しました。

第二に、プロジェクトの実施プロセスは段階とシナリオに沿って変革される必要があります。中遠銀行のような比較的完全なデジタルプラットフォーム構築を備えた銀行の場合、OLAP のアップグレードは比較的複雑です。そのため、ビジネスシナリオなどのロジックに応じて業務を分割し、計画的に変革を進め、プロジェクトの実行効率を高める必要があります。このプロジェクトでは、中原銀行はビジネスニーズに応じて具体的な実行段階をオフライン業務変革とリアルタイム業務変革に分け、9カ月以内にシステムの一部のアップグレードと変革を完了した。

今後、中原銀行はStarRocksと協力して、データ分析プラットフォームを含むデータプラットフォームアーキテクチャの徹底的な変革と最適化を継続し、より多くのビジネスシナリオでリアルタイムレポートをマイニングし、OLAPパフォーマンスをさらに探索して最適化し、高水準の問題を解決していきます。データレイク分析プロセスにおけるIOレイテンシ、データフォーマットの最適化ができないなどの問題により、StarRocks上で超高速分析と超高速データレイク分析を実現し、データ利用効率を向上させ、ビジネスの成長と銀行経営を強化し、非常に高速な統合 3.0 時代。

スターロックスについて

2 年以上前の立ち上げ以来、StarRocks は世界最高の新世代の超高速オールシナリオ MPP データベースの構築に注力し、企業が「超高速統合」データ分析の新しいパラダイムを確立できるよう支援し、企業の包括的なデジタル化を支援してきました。オペレーション。

現在、Tencent、Ctrip、SF Express、Airbnb、Didi、JD.com、Zhongan Insurance など 170 以上の大規模ユーザーによる新しいデータ分析機能の構築を支援しており、運用環境で安定して稼働している StarRocks サーバーの数は数千台に達しています。。

2021年9月にStarRocksのソースコードが公開され、GitHub上のスターの数は3,400を超えました。 StarRocks のグローバルコミュニティは急速に成長しており、これまでに 100 人を超える貢献者がおり、コミュニティユーザーの数は 7,000 人を超え、数十の国内外の業界大手企業が共同構築に参加するようになっています。