Configuración de Flink HistoryServer (tres simples pasos para completar)

#HistoryServer le
permite consultar el estado y las estadísticas de los trabajos completados archivados por JobManager. (Las palabras originales del sitio web oficial) son las
más adecuadas para: comprender el estado de las tareas completadas de flink en el pasado y la recuperación de trabajos con estado (se guarda la última dirección del punto de control)

Dirección del sitio web oficial: https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/historyserver.html
Parámetros de configuración del sitio web oficial: https://ci.apache.org/projects/flink/ flink- docs-release-1.11 / ops / config.html # history-server

# Pasos de configuración detallados

paso uno:

Modifique el archivo flink-1.11.2 / conf / flink-conf.yaml

#==============================================================================
# HistoryServer
#==============================================================================
# 指定由JobManager归档的作业信息所存放的目录,这里使用的是HDFS
jobmanager.archive.fs.dir: hdfs:///flink/completed-jobs/
# History Server所绑定的ip
historyserver.web.address: xxxx
# 指定History Server所监听的端口号(默认8082)
historyserver.web.port: 8082
# 指定History Server扫描哪些归档目录,多个目录使用逗号分隔
historyserver.archive.fs.dir: hdfs:///flink/completed-jobs/
# 指定History Server间隔多少毫秒扫描一次归档目录
historyserver.archive.fs.refresh-interval: 10000
#查找到的归档文件会下载并缓存到本地存储路径,默认/tmp目录下面,默认路径为System.getProperty("java.io.tmpdir") + File.separator + "flink-web-history-" + UUID.randomUUID() 「下面有两张图,第一张是默认的,第二张是我改成/tmp/flinkhistoryserver/后的」
historyserver.web.tmpdir: /tmp/flinkhistoryserver/

Dos imágenes:
el diagrama de configuración predeterminado de historyserver.web.tmpdir:
El diagrama de configuración predeterminado de historyserver.web.tmpdir

El diagrama de configuración de ruta personalizada de historyserver.web.tmpdir:
Diagrama de configuración de ruta personalizada de historyserver.web.tmpdir

Segundo paso:

Cree un directorio de trabajos completados en el directorio / flink de hdfs (los permisos se pueden cambiar a 777)

Paso tres:

Comando de inicio / parada:

bin/historyserver.sh start/stop

Prueba: (todo basado en el modo de hilo)

1. Verifique el estado de inicio

jps | grep HistoryServer
netstat -antp | grep 8082

2. Inicie una tarea por trabajo, tarea SQL y tareas basadas en sesión respectivamente. Después de un tiempo, todas se cancelarán. Puede ver los datos relevantes en la ruta de hdfs y el directorio personalizado en / tmp, y finalmente puede encontrarlo en el host: 8082 Puede ver la tarea que acaba de cancelar arriba, como se muestra a continuación:

3. Acceda a la ruta de hdfs:
gráfico hdfs

4. Visite http: // host: 8082 para ver el estado del historial de tareas completadas:
host: 8082 historial web estado de la tarea completada

### Nota:
De repente, este servicio se pierde durante la producción y luego la tarea no se reinicia. A través de la tarea de investigación, se eliminó la ruta historyserver.web.tmpdir: / tmp / flinkhistoryserver /.

Supongo que te gusta

Origin blog.csdn.net/weixin_44500374/article/details/112611556
Recomendado
Clasificación