Para a maioria dos programas em execução no cluster, o mais fácil é configurar qualquer um dos seguintes:
Memória Flink total (taskmanager.memory.flink.size)
Memória total do processo (taskmanager.memory.process.size) O
resto dos componentes da memória serão com base em O valor padrão ou opções de configuração adicionais são ajustadas automaticamente.
Para o modo de implantação autônomo, porque temos que declarar o tamanho da memória alocada para flink, é mais apropriado configurar a memória Total Flink.
Para o modelo de implantação em contêiner, é melhor configurar a Memória Total do Processo. Como a Memória Total do Processo realmente representa a memória total ocupada pelo processo Flink JVM, é também a memória online que o contêiner permite que o TM ocupe.Se esse valor for excedido, o contêiner será eliminado.
#vi / etc / hosts
kf23 192.168.0.50 master
kf2 192.168.0.51 slave1
kf3 192.168.0.52 slave2
(1) 安装 FLink
#tar -xzvf flink-1.7.2-bin-hadoop28-scala_2.12.tgz -C / usr / local
#cd / usr / local
#mv flink-1.7.2 / flink
#vi / root / .bashrc
export FLINK_HOME=/usr/local/flink
export PATH=$PATH:$FLINK_HOME/bin
#source /root/.bashrc
(2) Modifique o arquivo de configuração
#cd / usr / local / flink / conf /
#vi flink-conf.yaml
Observe que há um espaço no meio
jobmanager.rpc.address: kf23
Você também pode configurar os seguintes parâmetros.
jobmanager.rpc.address: nó mestre
jobmanager.heap.mb: a quantidade de memória disponível para JobManager taskmanager.heap.mb: a quantidade de memória disponível para
cada TaskManager
taskmanager.numberOfTaskSlots: o número de CPUs disponíveis para cada máquina
paralelismo.default : o total no cluster O número de CPUs
taskmanager.tmp.dirs: diretório temporário
#vi escravos
kf2
kf3
(3) Inicie no nó kf23
[root @ kf23 ~] # start-cluster.sh
Iniciando o cluster.
Iniciando o daemon standalonesession no host kf23.
Iniciando o daemon taskexecutor no host kf2.
Iniciando o daemon taskexecutor no host kf3.
Visualize o processo em kf23 View kf2 E o processo em kf3
2737 SecondaryNameNode
2553 NameNode
6287 StandaloneSessionClusterEntrypoint 1921 DataNode
4302 TaskManagerRunner
Por exemplo:
taskmanager.memory.process.size: 20g taskmanager.numberOfTaskSlots:
20
jobmanager.web.port: 8090 (precisa evitar conflitos de porta)
(4) Exibir webUI
http: // IP: 8081
(5)
Adicionar ou excluir nós do cluster Adicionar / reduzir nós do gerenciador de tarefas:
bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
Aumentar / diminuir o nó do gerenciador de tarefas (precisa ir para o nó atual para iniciar):
bin/taskmanager.sh start|start-foreground|stop|stop-all