Caso de proyecto clásico de big data: análisis de datos de Didi (servidor en la nube: base cero desde la configuración hasta la implementación del proyecto 1)

Esta vez, nuestro proyecto utiliza el servidor Alibaba Cloud y las siguientes tecnologías y protocolos de marco para el análisis de datos:

1. HDFS
2. Colmena
3. Chispa SQL
4. zepelín

Por supuesto, también podemos usar los datos limpiados por la base de datos, usando

1. Cuadro

2.Python+echarts+interfaz web

3. Tencent Cloud, informe de inteligencia de negocios de Alibaba Cloud

4. Por supuesto, también podemos usar tablas dinámicas de Excel y gráficos dinámicos para hacer

En primer lugar, la configuración de la máquina virtual en el servidor de la nube

1.Configuración de Hadoop

Consulte el siguiente blog para configurar el entorno pseudodistribuido de hadoop en centos7.2 del servidor Aliyun.

Creación de bajo centos7.2 del servidor en la nube de Alibaba.un entorno :

¡También puedes aprender desde cero! Práctica de instalación y configuración de clústeres pseudodistribuidos de Hadoop_mb634aa19ba764f's Technical blog_51CTO ¡El blog también puede aprender sin fundamento! Práctica de instalación y configuración de clúster pseudodistribuido de Hadoop, ¡puede aprender sin fundamento! Práctica de instalación y configuración de clúster pseudodistribuido de Hadoop. Este artículo tiene como objetivo enseñar a un principiante basado en cero cómo construir un clúster pseudodistribuido de Hadoop a través de demostraciones prácticas. El artículo primero presenta el concepto y el principio de funcionamiento de Hadoop, y elabora la estructura y función del clúster de Hadoop en detalle. Luego, el artículo presenta en detalle el método de instalación y configuración del clúster pseudodistribuido de Hadoop, incluida la instalación del sistema operativo, la configuración de las variables de entorno de Java, la inicialización del sistema de archivos de Hadoop y otros pasos. A través del estudio de este artículo, los lectores no solo pueden dominar fácilmente los métodos de construcción y configuración de los clústeres pseudodistribuidos de Hadoop. https://blog.51cto.com/u_15831056/6237232

Asegúrese de prestar atención: ¡entorno de configuración de Java! ! !

¡Evite que Hadoop encuentre Java!

2. Configuración de la base de datos MySQL

Consulte el siguiente blog

Pasos detallados para instalar MySQL en Centos7 2522 %252C% 2522scm%2522%253A%252220140713.130102334 ..%2522%257D&request_id=168399621816800182715943&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_ positivo~predeterminado-2-106245223-null-null.142^v87^ control_2, 239^v2^insert_chatgpt&utm_term=centos %E5%AE%89%E8%A3%85mysql&spm=1018.2226.3001.4187

 

Use servidorNavicat para conectarse a la base de datos MySQL en el

3. Instalar la configuración de colmena

Instale Hive3.1.2+MySQL5.7 en CentOS7_Install hive client_Zheng Xiangxiang's blog-CSDN directorio de artículos de blog 1. Instale Hive1.1 Descomprima el paquete de instalación de hive 1.2 Configure las variables de entorno 1.3 Resuelva los conflictos del paquete Log Jar 1.4 Inicialice la metabase 2 Inicie hive2.1 Inicie HDFS , Yarn, historyserver2.2 Inicie hive2.3 Compruebe el registro de inicio de hive 3 Instale MySQL3.1 Salga del cliente de hive 3.2 Copie el controlador JDBC 1. Instale Hive1.1 Descomprima el paquete de instalación de hive Descomprima el paquete de instalación de hive en el directorio tar especificado -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/Modificar el nombre a https://blog.csdn.net/qq_51490070/article/details/123718952?ops_request_misc=&request_id=&biz_id= 102 & UTM_TERM = CentOS%E5%AE%89%E8%A3%85hive & UTM_Medium = Distribute.pc_search_result.none-Task-BLOG-2 ~ Sobaiduweb ~ DEFAULT-3-12 3718952.NONECASE & SPM = 1018.2226.3001.4187 Porque cada configuración de archivos de la persona No es lo mismo, ¡todos deben tener claro sus archivos! ! ! donde esta configurado

En el directorio local

wget https://mirrors.aliyun.com/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

Descomprima el paquete tar en /usr/local/el directorio y cámbiele el nombre a hive:

tar -zxvf apache-hive-x.y.z-bin.tar.gz
mv apache-hive-x.y.z-bin hive

Configurar variables de entorno

Agregue lo siguiente al ~/.bashrco :/etc/bashrc

export HADOOP_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

Haz que los cambios surtan efecto inmediatamente:

source ~/.bashrc

En este punto, la instalación y configuración de Hive está completa.

Configure las variables de entorno: puede agregar las siguientes variables de entorno en /etc/profileel archivo :

export HADOOP_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

• source /etc/profile
  

   A continuación, inicialice la metabase.

• Configurar la metabase de Hive: Hive usa una metabase para almacenar información de metadatos. Puede usar los siguientes comandos para crear una base de datos MySQL y autorizar a los usuarios de Hive a usar la base de datos:

• mysql -u root -p
  create database metastore;
  grant all privileges on metastore.* to 'hive'@'localhost' identified by 'your_password';
  

  Luego, las propiedades como y hive-site.xmlen el archivo de configuración de Hive deben establecerse como información de javax.jdo.option.ConnectionURLconexión de MySQL.javax.jdo.option.ConnectionUserNamejavax.jdo.option.ConnectionPassword

• Iniciar Hive: Hive se puede iniciar con el siguiente comando:

hive

Si todo salió bien, debería poder ver la interfaz de línea de comandos de Hive y poder ejecutar comandos SQL de Hive.

4.hive se conecta a la base de datos