La instalación de Flink está altamente disponible

Modo local

Para el modo local, JobManager y TaskManager comparten una JVM para completar la carga de trabajo

Si desea verificar una aplicación simple, el modo local es el más conveniente

La mayoría de las aplicaciones prácticas usan Standalone o Yarn Cluster, y el modo local simplemente descomprime el paquete de instalación y comienza ( bin/start-local.sh)

Modo autónomo (tres nodos)

Dirección de descarga del paquete de instalación: http://flink.apache.org/downloads.html   Elija la versión de Flink correspondiente a Hadoop para descargar

Instalación y descompresión: tar -zxvf flink-1.7.2-bin-hadoop27-scala_2.11.tgz

Renombrado: mv flink-1.7.2 flink

Modifique el archivo de configuración en el directorio conf:

1.conf / masters

2.conf / esclavos

Conf / good-conf.yaml

jobmanager.rpc.address: node7-1
taskmanager.numberOfTaskSlots: 2

Copie el paquete de instalación en cada nodo

 scp -r flink / node7-2: `pwd`

 scp -r flink / node7-3: `pwd`

Iniciar flink

bin / start-cluster.sh

Vista de WebUI

http: // nodo7-1 : 8081

Alta disponibilidad HA

Modificar el archivo de configuración conf/flink-conf.yaml

# jobmanager.rpc.address: node7-1

jobmanager.rpc.port: 6123

jobmanager.heap.size: 1024m

taskmanager.heap.size: 1024m

taskmanager.numberOfTaskSlots: 2

parallelism.default: 1

#================================================================
# High Availability
#================================================================
high-availability: zookeeper

high-availability.storageDir: hdfs://jh/flink/ha/

# 指定高可用模式（必须）
high-availability.zookeeper.quorum: node7-1:2181,node7-2:2181,node7-3:2181

# jobManager元数据保存在文件系统storageDir中，只有指向此状态的指针存储在zookeeper中（必须）
high-availability.zookeeper.path.root: /flink

# 根据zookeeper节点，在该节点下放置所有集群节点（推荐）
high-availability.cluster-id: /flinkCluster 

#================================================================
# Fault tolerance and checkpointing
#================================================================
state.backend: filesystem

state.checkpoints.dir: hdfs://jh/flink/checkpoints

state.savepoints.dir: hdfs://jh/flink/checkpoints

Modificar el archivo de configuración conf/slave

node7-1
node7-2
node7-3

Modificar el archivo de configuración conf/master

node7-1:8081
node7-2:8081

Modificar el archivo de configuración conf/zoo.cfg

# ZooKeeper quorum peers
server.1=node7-1:2888:3888
server.2=node7-2:2888:3888
server.3=node7-3:2888:3888

flink-1.7.2Con hadoopintegración

• Modifique el archivo de configuración directamentebin/config.sh

# YARN Configuration Directory, if necessary
DEFAULT_YARN_CONF_DIR="/data/hadoop/hadoop/share/hadoop/yarn"
# Hadoop Configuration Directory, if necessary
DEFAULT_HADOOP_CONF_DIR="/data/hadoop/hadoop/etc/hadoop"

• Agregar dependencia de hadoop

flink-shaded-hadoop-2-uber-2.8.3-10.0.jar

Descargue el jarpaquete al /flink/libdirectorio

puesta en marcha

bin / start-cluster.sh

Vista WebUI, esto generará automáticamente un maestro

http: // nodo7-1 : 8081

verificación

Elimine manualmente el maestro en el nodo7-1, en este momento, el maestro en espera en el nodo7-2 se convierte en el maestro