Tutorial de instalação local do Hive

Três modos de instalação da seção:

• Modo incorporado: use o banco de dados Derby incorporado para armazenar metadados. Os metadados não podem ser compartilhados. É o método de instalação padrão do hive, mas apenas um cliente pode ser conectado por vez. É adequado para teste e não é adequado para ambientes de produção.
• Modo local: o banco de dados externo é usado para armazenar metadados.Este modo não precisa iniciar o serviço de metastore separadamente, porque o modo local usa o serviço de metastore no mesmo processo que a seção.
• Modo remoto: os metadados são armazenados em um banco de dados externo.Neste modo, o serviço de metastore precisa ser iniciado separadamente e cada cliente é configurado para conectar-se ao serviço de metastore no arquivo de configuração. No modo remoto, o serviço e a seção do Metastore são executados em diferentes processos.

Nota:
Modo local e remoto: Essencialmente, o meio de armazenamento de metadados padrão da seção é substituído pelo banco de dados Derby interno pelo banco de dados MySQL, para que, independentemente de qualquer diretório, a seção seja iniciada de qualquer maneira, desde que o serviço de seção seja conectado no mesmo dia. Em seguida, as informações de metadados acessadas por todos os nós são consistentes, de modo a obter o compartilhamento de metadados.

Instalação incorporada da instalação do Hive:

• Baixe o pacote de instalação do Hivea
• Digite o comando: bin / hive para entrar na seção

Instalação local do Hive

1. Instale o serviço mysql

Baixe e instale o mysql

iniciar o serviço mysql

para baixar e instalar MariaDB

iniciar serviços MariaDB;
serviços permanentes início MariaDB;
serviço mysql login;
usar o MySQL;
senha;
privilégios de root concessão, pode ser usado para login remoto;
sair mysql;
password mysql login;

2. Instale a seção

Importe o pacote compactado do hive (você também pode usar rz para fazer upload).

Descompacte-o no servidor

. Altere o nome simples do arquivo que você acabou de descompactar

para o hive; digite o hive;
localize o diretório conf;
você pode ver que não há hive-env.sh, portanto, faça uma cópia

Abra o arquivo de configuração

Modifique o arquivo de configuração

Crie um novo arquivo hive-site.xml

Adicione o seguinte conteúdo

<configuration>
    <property>
          <name>javax.jdo.option.ConnectionURL</name>
          <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
          <name>javax.jdo.option.ConnectionDriverName</name>
          <value>com.mysql.jdbc.Driver</value>
    </property>
     <property>
          <name>javax.jdo.option.ConnectionUserName</name>
          <value>root</value>
    </property>
     <property>
          <name>javax.jdo.option.ConnectionPassword</name>
          <value>123456</value>
    </property>
</configuration>

Um arquivo de driver de banco de dados é usado no arquivo hive-site.xml, portanto, abaixo, temos que importá-lo para o hive / lib (você também pode usar o rz, desde que seja necessário primeiro o pacote)

para copiar a configuração do hive em hadoop01 para hadoop02 e hadoop03 Em

3. Gerenciamento de colméia:

Antes de tudo, é necessário iniciar o cluster primeiro. Após abrir o


hive, o

processo a seguir será exibido com êxito

. Digite o beeline no hadoop02 (você também pode operar em outros nós). Após

conectar-se ao hadoop01
, digite o nome do usuário e a senha. Você pode ver que a conexão foi bem-sucedida (entrada bem-sucedida)

. A operação é semelhante à instrução

mysql.Verifique o banco de dados.Depois de abrir o hive, use o sqlyog para conectar-se ao banco de dados mysql do hadoop01. Após a atualização, você verá que um banco de dados do hive aparece e todas as tabelas de metadados são armazenadas nele.

Criar banco de dados

Alternar banco de dados, exibir tabela

4. Operação da tabela interna da seção

Crie uma tabela interna, a segunda linha usa uma vírgula como delimitador e importe-a para a tabela.

Você pode ver que a tabela foi criada com sucesso, mas não há dados.

Coloque os dados na tabela t_user no banco de dados itcast.

Em seguida, consulte a tabela e os dados serão



excluídos. Vejamos o segundo método para importar dados.


Use load data inpath local para especificar a localização dos dados e, em seguida, carregue os dados na tabela especificada. Para

visualizar o número total de dados, podemos ver que o mapa e a redução são usados ​​aqui. Não use nenhuma linha de dados como chave, o valor é 1, a redução é adicionada e as estatísticas.

O caminho da tabela DBS na seção para colocar o banco de dados

aqui é a tabela que criamos

5. Operação da tabela externa do Hive

Primeiro, crie alguns dados

novos.Insira os dados no sistema de arquivos distribuído em / stu para

criar uma tabela externa, adicione a palavra-chave external e também use a vírgula como delimitador.O arquivo vem do stu no diretório raiz do sistema de arquivos local. Dados.

Toda vez que executarmos um comando, haverá uma exibição aqui e, finalmente, você pode usar ctrl + c para sair.Você

também pode usar ctrl + c para sair

Pensando: Como escolher usar tabela interna ou tabela externa?
  Se todo o processamento for feito com o hive, use tabelas internas;
  se você precisar usar o hive e outras ferramentas externas para processar o mesmo conjunto de conjuntos de dados, use tabelas externas; use tabelas externas
  quando os dados forem grandes.