Resumen del problema de Flink

1 Escribir en el sistema de archivos

1 Ejecutar localmente, escribir parquet e informar de un error, pero no hay problema con json

Excepción en el subproceso "principal" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
Causado por: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration

2 ajustes de registro de salida de Flink

1. No se pudo cargar la clase

SLF4J: no se pudo cargar la clase "org.slf4j.impl.StaticLoggerBinder".
SLF4J: implementación predeterminada del registrador sin operación (NOP)
SLF4J: consulte http://www.slf4j.org/codes.html#StaticLoggerBinder para obtener más detalles.

https://blog.csdn.net/qq_35779738/article/details/116935467

2. Nivel de registro: https://blog.csdn.net/zhailihua/article/details/80383195

3 La cantidad de datos escritos por flink es anormal

3.1 La cantidad de datos escritos aumenta dramáticamente

1 El problema del offset planteado por kafka

El desplazamiento se establece en el desplazamiento más antiguo y el punto de control no puede leer los datos históricos

4 escrituras multifregadero

El entorno de ejecución local con webui no puede ejecutar varios sumideros kafka;

5 otros

1. Excepción en el subproceso "principal" java.lang.NoSuchMethodError: scala.Predef$.refArr

La versión de scala introducida por el archivo pom.xml es diferente de la versión de scala descargada por idea

 


Supongo que te gusta

Origin blog.csdn.net/weixin_40829577/article/details/123834348
Recomendado
Clasificación