flink guía de instalación

modo independiente

1. Descargue el paquete comprimido flink

Haga clic para descargar: flink1.7.2

2. Subir a la máquina

súbete tú mismo

3. Descomprimir

tar -zxvf flink-1.7.2-bin-hadoop27-scala_2.11.tgz -C /opt/

4. Configurar variables de entorno

vim /etc/profile
# 写入自己flink解压路径等
export FLINK_HOME=/opt/flink-1.7.2/
export PATH=${
    
    FLINK_HOME}/bin:$PATH

Guardar y salir, actualizar variables de entorno

source /etc/profile

5. Modifique el archivo ./conf/flink-conf.yaml

cd /opt/flink-1.7.2/conf
vim flink-conf.yaml

Configure la ruta del punto de guardado, que puede ser una ruta local o una ruta hdfs

6. Modifique el archivo /conf/slave

vim slave

Para múltiples nodos, especifique múltiples

7. Inicie la vista de prueba

start-cluster.sh

Se iniciarán dos servicios:

vaya a la página de flink para echar un vistazo:
http://192.168.8.120 IP propia: 8081/

modo de hilo

Al implementar tareas de Flink en modo Yarn, se requiere que Flink sea una versión compatible con Hadoop. El entorno de Hadoop debe asegurarse de que la versión sea superior a 2.2 y que el servicio HDFS esté instalado en el clúster.
1) Iniciar clúster de hadoop (omitido)
2) Iniciar sesión de hilo

yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d

Explicación de parámetros:
-n(–container): El número de TaskManagers.
-s(–ranuras): el número de ranuras para cada administrador de tareas. De forma predeterminada, una ranura es un núcleo. La cantidad predeterminada de ranuras para cada administrador de tareas es 1. A veces puede haber más administradores de tareas por redundancia.
-jm: La memoria del JobManager (en MB).
-tm: La memoria de cada administrador de tareas (en MB).
-nm: appName of yarn (el nombre en la interfaz de usuario de yarn ahora).
-d: Ejecutar en segundo plano.