コンテンツの一部は、背景と概要としてAliの公式Webサイトから直接抽出されています。
バックグラウンド
リアルタイムデータビジネスシナリオでは、最も一般的なリンクは、最初にリアルタイム計算によってリアルタイムで収集されたデータをクリーンアップし、データをリアルタイムでデータベースに書き込んでから、BIツールに接続して視覚的な分析を実現することです。データの。データ処理の流れを下図に示します。
ビジネスリンク全体で、データベースは、高性能コンピューティングサービスを提供し、大量のデータを格納し、同時に複数のBI分析ツールを接続するために必要です。単一のデータベースで上記のすべての機能を実現することは困難です。ビジネスプロセスを完了するには、他のデータベースの関連機能を使用する必要があります。
データをインポートおよびエクスポートすると、冗長ストレージが生成され、ストレージリソースが無駄になります。同時に、複数のシステムを保守する必要があるため、開発、運用、保守がある程度困難になります。
概要
リアルタイムシナリオでビジネス上の問題点を解決するために、HologresはリアルタイムデータAPIインターフェイスを提供します。ビジネスデータとログデータは、リアルタイムデータAPIインターフェイスを直接呼び出し、リアルタイムでデータを書き込むことができます。その後、Hologresは、高性能コンピューティングサービスと大規模なデータストレージサービスを提供します。データ処理の流れを下図に示します。
ビジネスリンク全体で、データをインポートおよびエクスポートする必要はありません。書き込まれたデータは、冗長ストレージなしでHologresに均一に保存されるため、コンピューティングリソースとストレージリソースを節約できます。システムのセットは、複数のニーズを満たすことができ、開発、運用、および保守のコストを節約します。
点滅はリアルタイムでデータを書き込みます：
请确保开通的实时计算与Hologres地域一致，以免连接失败。（不是跨Region的服务）
Blink 3.6之前的版本未内置Hologres Connector（注意版本），实时写入数据至Hologres需要引用JAR文件，您可以提交工单或通过Hologres交流群（钉钉群号：32314975）获取。
当Hologres中接收数据的表已设置主键，默认按照主键更新实时写入的数据。（按照PK的update time写入）
如果使用批处理方式导入数据，则需要设置BatchSize并使用HoloHub的Endpoint。
点滅-3.4.4（デフォルト）バージョンを使用してください〜
ステップ
このケースでは、リアルタイム計算で乱数をランダムに生成し、インタラクティブ分析でデータをリアルタイムでクエリする方法を示します。（このデモンストレーションのすべてのコンテンツについては、ドキュメントを参照できます：リアルタイムのリアルタイムデータ書き込みクエリ）
プラットフォームの使用：リアルタイムコンピューティングプラットフォーム、HoloStudio
注：このケースでは、操作手順、データのデモンストレーションに焦点を当てています。ランダムに生成されたデータですので、実際の業務は実際のシーンデータに従って処理してください）
1.インタラクティブな分析とテーブル作成
HoloStudioにログインし、データを受信するための内部テーブルを作成します。テーブル作成ステートメントの例は次のとおりです。
create table test(a int, b text, c text, d float8, e int8);
2.リアルタイム操作の準備ができたリアルタイム計算
リアルタイムコンピューティングプラットフォームにログインし、新しいジョブ開発を作成して、ジョブに入力します。主なタスクは、リアルタイム計算とインタラクティブ分析の間の接続を確立し、データをインポートすることです。サンプルSQLは次のとおりです
。//メッセージキューをシミュレートしてデータをランダムに生成します
create table randomSource (a int, b VARCHAR , c VARCHAR , d DOUBLE, e BIGINT) with (type = 'random');
//リアルタイム計算とインタラクティブ分析のための接続テーブル情報を確立します。次の接続文字列情報が必要です
create table blink_test_demo (
a INT ,
b VARCHAR ,
c VARCHAR ,
d DOUBLE,
e BIGINT,
PRIMARY KEY (a)
) with (
type = 'custom',
tableFactoryClass = 'com.alibaba.blink.connectors.hologres.HologresTableFactory',
`endpoint` = '交互式分析实例VPC网络地址:交互式分析实例VPC网络端口',
`userName` = '当前账号的Access ID',
`password` = '当前账号的Access Key',
`dbName` = '要连接的交互式分析数据库名',
`tableName` = '交互式分析中用于接收数据的表'
);
//接続テーブルにデータをインポートします
insert
into blink_test_demo
select
a,b,c,d,e
from
randomSource;
文法チェック中にエラーが発生します。これは、hologres接続jarパッケージへの参照が不足しているためであり、jarパッケージ（blink-connector-hologres-07-demo.jar）が以下にインポートされます。
割り当てが完了したら、リアルタイム計算の左側のメニューバーで[Resource Reference]を選択し、リソースパッケージを参照します（リソースパッケージ：http：//docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/ attach / 170591 /cn_en/1591698479126/blink-connector-hologres-07-demo%281%29.jar?spm=a2c4g.11186623.2.23.ff644333ZjOaJX&file=blink-connector-hologres-07-demo%281%29.jar）
次に、保存して別の構文チェックを実行します。
次のステップは、オンラインでリアルタイムの仕事を始めることです。オンラインにすることを選択します。
ジョブの開始：ジョブを実稼働環境にサブミットして実行します。左上隅の[O＆M]をクリックして、手動でジョブを開始します。（ジョブの開始と情報の出力には1〜2分かかります。しばらくお待ちください）
リアルタイムでデータを読み取るためのインタラクティブな分析
リアルタイム計算でデータが出力されたら、HoloStudioにアクセスしてリアルタイムデータクエリを実行
できます。TPSが2ブロック/秒であることがわかります。また、bathSizeを調整することもできます。
2つのSQLテストをランダムに実行します。
SELECT * FROM test;
SELECT COUNT (*) FROM test;
完了！