Diretório de artigos
Capítulo 1 Introdução a Doris
1.1 Visão geral de Doris
Apache Doris foi desenvolvido pelo Baidu Big Data Department (anteriormente chamado Baidu Palo, que foi renomeado Doris depois de contribuir para a comunidade Apache em 2018). Dentro do Baidu, existem mais de 200 linhas de produtos em uso e mais de 1.000 máquinas implantadas. Alcance centenas de terabytes.
O Apache Doris é um produto de banco de dados analítico MPP (Massively Parallel Processing, processamento massivamente paralelo). Os resultados da consulta podem ser obtidos com tempo de resposta de apenas um segundo, suportando efetivamente a análise de dados em tempo real. A arquitetura distribuída do Apache Doris é muito simples, fácil de operar e manter e pode suportar grandes conjuntos de dados de mais de 10 PB.
O Apache Doris pode atender a uma variedade de necessidades de análise de dados, como relatórios históricos fixos, análise de dados em tempo real,
Análise de dados e análise exploratória de dados, etc.
1.2 Arquitetura Doris
A arquitetura do Doris é muito simples. Possui apenas duas funções e dois processos de FE (Frontend) e BE (Backend). Não depende de componentes externos, o que é conveniente para implantação, operação e manutenção. Tanto FE quanto BE podem ser linearmente expandido.
⚫ FE (Frontend): armazena e mantém metadados de cluster; responsável por receber e analisar solicitações de consulta, planejar planos de consulta,
Agende a execução da consulta e retorne os resultados da consulta. Existem três funções principais:
(1) Líder e seguidor: usado principalmente para obter alta disponibilidade de metadados, para garantir que, quando um único nó cair, os metadados possam ser restaurados online em tempo real sem afetar todo o serviço.
(2) Observer: É usado para expandir o nó de consulta e também desempenhar o papel de backup de metadados. Se você achar que a pressão do cluster é muito alta e precisar expandir a capacidade de toda a consulta, poderá adicionar nós observadores. O observador não participa de nenhuma gravação, apenas lê.
⚫ BE (Backend): responsável pelo armazenamento e cálculo dos dados físicos; executa as consultas de forma distribuída de acordo com o plano físico gerado pelo FE.
A confiabilidade dos dados é garantida pela BE, e a BE armazenará várias cópias ou três cópias de todos os dados. O número de cópias pode ser ajustado dinamicamente de acordo com a demanda.
⚫ Cliente MySQL
Com a ajuda do protocolo MySQL, Doris pode acessar diretamente Doris usando qualquer cliente MySQL ODBC/JDBC e MySQL.
⚫ Corretora
Broker é um processo independente sem estado. Ele encapsula a interface do sistema de arquivos e fornece a Doris a capacidade de ler arquivos em sistemas de armazenamento remoto, incluindo HDFS, S3, BOS, etc.