Parte do conteúdo é extraído diretamente do site oficial de Ali como pano de fundo e visão geral:
fundo
No cenário de negócios de dados em tempo real, o link mais comum é limpar inicialmente os dados coletados em tempo real por meio de cálculos em tempo real, gravar os dados no banco de dados em tempo real e, em seguida, conectar-se com ferramentas de BI para realizar a análise visual dos dados. O fluxo de processamento de dados é mostrado na figura abaixo.
Em todo o link de negócios, o banco de dados é necessário para fornecer serviços de computação de alto desempenho, armazenar grandes quantidades de dados e conectar várias ferramentas de análise de BI ao mesmo tempo. É difícil para um único banco de dados realizar todas as funções acima. Você deve usar os recursos relevantes de outros bancos de dados para concluir o processo de negócios.
Ao importar e exportar dados, armazenamento redundante será gerado e recursos de armazenamento serão desperdiçados. Ao mesmo tempo, vários sistemas precisam ser mantidos, o que adiciona um certo grau de dificuldade ao desenvolvimento, operação e manutenção.
Visão geral
Para resolver pontos problemáticos de negócios em cenários em tempo real, o Hologres fornece uma interface de API de dados em tempo real. Dados de negócios e dados de log podem chamar diretamente a interface API de dados em tempo real, gravar dados em tempo real e, então, a Hologres fornece serviços de computação de alto desempenho e serviços de armazenamento massivo de dados. O fluxo de processamento de dados é mostrado na figura abaixo.
Em todo o link comercial, você não precisa importar e exportar dados, e os dados gravados são armazenados em Hologres de maneira uniforme, sem armazenamento redundante, economizando recursos de computação e armazenamento. Um conjunto de sistemas pode atender às suas múltiplas necessidades, economizando custos de desenvolvimento, operação e manutenção.
Blink grava dados em tempo real:
请确保开通的实时计算与Hologres地域一致，以免连接失败。（不是跨Region的服务）
Blink 3.6之前的版本未内置Hologres Connector（注意版本），实时写入数据至Hologres需要引用JAR文件，您可以提交工单或通过Hologres交流群（钉钉群号：32314975）获取。
当Hologres中接收数据的表已设置主键，默认按照主键更新实时写入的数据。（按照PK的update time写入）
如果使用批处理方式导入数据，则需要设置BatchSize并使用HoloHub的Endpoint。
Use a versão blink-3.4.4 (padrão) ~
Degraus
Este caso demonstra como gerar aleatoriamente números aleatórios em cálculos em tempo real e consultar dados em tempo real em análises interativas. (Você pode consultar o documento para todo o conteúdo desta demonstração: consulta de gravação de dados em tempo real em tempo real)
Plataforma de uso: plataforma de computação em tempo real, HoloStudio
Nota: Este caso se concentra na demonstração das etapas da operação, os dados são dados gerados aleatoriamente, a empresa real, por favor, processe de acordo com os dados reais da cena)
1. Análise interativa e construção de mesa
Faça login no HoloStudio e crie uma tabela interna para receber dados. A instrução de criação de tabela de exemplo é a seguinte:
create table test(a int, b text, c text, d float8, e int8);
2. Cálculo em tempo real pronto para operação em tempo real
Faça login na plataforma de computação em tempo real, crie um novo desenvolvimento de trabalho e preencha o trabalho. A principal tarefa é estabelecer uma conexão entre o cálculo em tempo real e a análise interativa e importar dados. O exemplo de SQL é o seguinte:
// Simula a fila de mensagens para gerar dados aleatoriamente
create table randomSource (a int, b VARCHAR , c VARCHAR , d DOUBLE, e BIGINT) with (type = 'random');
// Estabelecer informações da tabela de conexão para cálculo em tempo real e análise interativa, as seguintes informações de string de conexão são necessárias
create table blink_test_demo (
a INT ,
b VARCHAR ,
c VARCHAR ,
d DOUBLE,
e BIGINT,
PRIMARY KEY (a)
) with (
type = 'custom',
tableFactoryClass = 'com.alibaba.blink.connectors.hologres.HologresTableFactory',
`endpoint` = '交互式分析实例VPC网络地址:交互式分析实例VPC网络端口',
`userName` = '当前账号的Access ID',
`password` = '当前账号的Access Key',
`dbName` = '要连接的交互式分析数据库名',
`tableName` = '交互式分析中用于接收数据的表'
);
// Importar dados para a tabela de conexão
insert
into blink_test_demo
select
a,b,c,d,e
from
randomSource;
Haverá um erro durante a verificação gramatical: isso ocorre porque não há uma referência ao pacote jar de conexão de hologres, e o pacote jar (blink-connector-hologres-07-demo.jar) será importado abaixo.
Depois de concluir a atribuição, selecione Referência de recurso na barra de menu à esquerda do cálculo em tempo real e faça referência ao pacote de recursos (Pacote de recursos: http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/ attach / 170591 /cn_en/1591698479126/blink-connector-hologres-07-demo%281%29.jar?spm=a2c4g.11186623.2.23.ff644333ZjOaJX&file=blink-connector-hologres-07-demo%281%29.jar)
Em seguida, salve e execute outra verificação de sintaxe:
A próxima etapa é iniciar trabalhos em tempo real online. Escolha ficar online:
Iniciar trabalho: Envie o trabalho ao ambiente de produção para execução. Clique em O&M no canto superior esquerdo para iniciar o trabalho manualmente. (Leva de 1 a 2 minutos para o trabalho iniciar e gerar informações, aguarde pacientemente)
Análise interativa para ler dados em tempo real
Depois que os cálculos em tempo real produzirem os dados, você pode ir ao HoloStudio para consulta de dados em tempo real.Você
pode ver que o TPS é de 2 blocos / s, e você também pode ajustar o bathSize;
Execute aleatoriamente dois testes SQL:
SELECT * FROM test;
SELECT COUNT (*) FROM test;
Feito!