Uma da trilogia CDH + Kylin: Preparação

Este artigo é o primeiro da "Trilogia CDH + Kylin". A série inteira consiste nos três seguintes:

1. Preparação: Antes de configurar o ambiente CDH + Kylin, prepare todos os recursos de hardware e software
2. Implantação e configurações: implante CDH e Kylin e faça as configurações relacionadas
3. Kylin combat: execute a demonstração oficial do Kylin no ambiente construído

O conteúdo real de toda a trilogia é mostrado na figura abaixo:

Em seguida, vamos começar com os preparativos mais básicos.

Sobre CDH e Kylin

1. A operação do Kylin requer serviços como Hadoop, Hive, HBase, etc. Portanto, é mais conveniente usar o CDH para implantar centralmente esses aplicativos.A figura a seguir é do oficial do Kylin, que mostra que o CDH é suportado:
   
2. O funcionário disse que suporta a versão CDH6.0, mas foi encontrado na implantação real que o Kylin2.6 terá problemas ao iniciar no ambiente CDH6.0.1 Depois de tentar descobrir que o Kylin2.6 + CDH5.16 pode funcionar normalmente, esse combate real usa essa versão para corresponder;

Método de implantação

Ansible é uma ferramenta de operação e manutenção comumente usada, que pode simplificar bastante todo o processo de implantação. A seguir, o ansible será usado para concluir a implantação. Se você não souber o suficiente sobre o ansible, consulte "Instalação e experiência do Ansible2.4" . A operação de implantação é mostrada na figura a seguir. Ele mostra que o script é executado em um computador com o ansible instalado e o ansible é conectado remotamente a um servidor CentOS7.7 para concluir a implantação:

Preparação de hardware

1. Como um computador que pode funcionar, eu uso um MacBook Pro, também verificado com o CentOS, pode concluir a implantação com êxito;
2. Um computador CentOS7.7 para todos os serviços em execução HDFS, Hive, HBase, Spark, Kylin , etc. (siga o texto do servidor CDH refere-se ao computador), para implantar uma máquina com todo o serviço só está disponível para a aprendizagem ea fase de desenvolvimento , a medida Verificou-se que a CPU deste computador deve ter pelo menos núcleo duplo e a memória não inferior a 16 G. Se você deseja implantar o CDH com vários computadores, é recomendável modificar o script ansible para implantar separadamente.

Configurações do servidor CDH

Você precisa fazer login no servidor CDH para fazer as seguintes configurações:

1. Verifique se o arquivo / etc / hostname está correto, como mostrado abaixo:
   
2. Modifique o arquivo / etc / hosts , configure seu próprio endereço IP e nome de host, conforme mostrado na caixa vermelha abaixo ( verifica-se que esta etapa é muito importante ; se você não fizer isso , poderá causar um bloqueio no estágio "alocação" durante a implantação, consulte o log do agente Mostre que o progresso do pacote de download do agente foi zero por cento):
   

Baixar arquivo (computador ansible)

No total, 13 documentos devem ser preparados para este combate real, listados na tabela abaixo:

Número	Nome do arquivo	1. Introdução
1	jdk-8u191-linux-x64.tar.gz	Pacote de instalação do jdk da versão Linux
2	mysql-connector-java-5.1.34.jar	Driver JDBC para MySQL
3	cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm	pacote de instalação do servidor cm
4	cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm	pacote de instalação do cmemon
5	cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm	pacote de instalação do agente cm
6	CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel	Pacote de instalação offline do aplicativo CDH
7	CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha	Código de verificação do CD para o pacote de instalação offline do aplicativo CDH
8	apache-kylin-2.6.4-bin-cdh57.tar.gz	pacote de instalação kylin (adequado para a versão CDH)
9	anfitriões	A configuração do host remoto usada pelo ansible, que registra as informações do servidor CDH6
10	ansible.cfg	Informações de configuração usadas pelo ansible
11	cm6-cdh5-kylin264-single-install.yml	Script possível usado ao implementar o CDH
12	cdh-single-start.yml	O script ansible usado ao iniciar o CDH pela primeira vez
13	var.yml	As variáveis ​​usadas no script são definidas aqui, como nome do pacote CDH, nome do arquivo flink, etc., para facilitar a manutenção

A seguir está o endereço de download de cada arquivo:

1. jdk-8u191-linux-x64.tar.gz: o site oficial da Oracle está disponível.Além disso, eu empacotei e carreguei o jdk-8u191-linux-x64.tar.gz e o mysql-connector-java-5.1.34.jar no csdn, você Pode ser baixado de uma só vez, endereço: https://download.csdn.net/download/boling_cavalry/12098987

2. mysql-connector-java-5.1.34.jar: o maven central warehouse está disponível.Além disso, eu empacotei e carreguei o jdk-8u191-linux-x64.tar.gz e o mysql-connector-java-5.1.34.jar no csdn, Você pode baixá-lo uma vez, endereço: https://download.csdn.net/download/boling_cavalry/12098987

3. cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm: https: //archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3. 1-1466458.el7.x86_64.rpm

4. cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm ： https: //archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3. 1-1466458.el7.x86_64.rpm

5. cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm: https: //archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3. 1-1466458.el7.x86_64.rpm

6. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel: https: //archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2. p0.8-el7.parcel

7. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha: https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh 5. 16.2.p0.8-el7.parcel.sha1 (Após o download, altere a extensão de .sha1 para .sha)

8. apache-kylin-2.6.4-bin-cdh57.tar.gz: https: //archive.apache.org/dist/kylin/apache-kylin-2.6.4/apache-kylin-2.6.4-bin-cdh57. tar.gz

9. hosts, ansible.cfg, cm6-cdh5-kylin264-single-install.yml, cdh-single-start.yml, vars.yml: esses cinco arquivos são armazenados no meu repositório GitHub, o endereço é: https: // github .com / zq2599 / blog_demos, existem várias pastas dentro, os arquivos acima estão na pasta denominada ansible-cm6-cdh5-kylin264-single , conforme mostrado na caixa vermelha abaixo:
   

Posicionamento de arquivo (computador ansible)

Se você baixou os 13 arquivos acima, coloque-os de acordo com os seguintes locais, para que a implantação possa ser concluída com êxito:

1. Crie uma nova pasta chamada playbooks no diretório inicial: mkdir ~ / playbooks
2. Coloque esses cinco arquivos na pasta playbooks: hosts, ansible.cfg, cm6-cdh5-kylin264-single-install.yml, cdh-single-start.yml, vars.yml
3. Crie uma nova subpasta chamada cdh6 na pasta playbooks;
4. Coloque esses oito arquivos na pasta cdh6 (ou seja, os oito restantes): jdk-8u191-linux-x64.tar.gz, mysql-connector-java-5.1.34.jar, cloudera-manager-server-6.3. 1-1466458.el7.x86_64.rpm, cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm, CDH-5.16. 2-1.cdh5.16.2.p0.8-el7.parcel, CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha, apache-kylin-2.6.4-bin-cdh57. tar.gz
5. Após o posicionamento, o diretório e os arquivos são mostrados na figura abaixo: Lembre-se novamente: a pasta playbooks deve ser colocada no diretório inicial (ou seja: ~ / ):
   

configuração de parâmetro ansible (computador ansible)

A configuração da operação do parâmetro ansible é muito simples: configure os parâmetros de acesso do servidor CDH, incluindo o endereço IP, a conta de login, a senha etc., modifique o arquivo ~ / playbooks / hosts , conforme mostrado abaixo, é necessário modificar o deskmini, de acordo com sua própria situação. ansible_host, ansible_port, ansible_user, ansible_password:

[cdh_group]deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888

Neste ponto, todas as preparações foram concluídas; no próximo artigo, concluiremos estas operações:

1. Implantar CDH e Kylin
2. Iniciar CDH
3. Configure o CDH, instale o Yarn online, HDFS etc.
4. Ajustar parâmetros HDFS e Yarn
5. Modifique as configurações do Spark (caso contrário, o Kylin falhará ao iniciar)
6. Iniciar Kylin

Bem-vindo a prestar atenção ao meu número público: programador Xinchen