20/09/27 18:32:57 WARN ObjectStore: No se pudo obtener la chispa de la base de datos, devolviendo la
Excepción NoSuchObjectException en el hilo "principal" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: No se encontró la 'chispa' de la base de datos;
Escena del proyecto:
Spark integra Hive, idea usa Spark localmente para leer datos en Hive
Descripción del problema:
Verifique que la chispa de la base de datos exista en el cliente de Hive, pero conectarse a Hive usando chispa no puede encontrar la
excepción de chispa de la base de datos es la siguiente
20/09/27 18:32:57 WARN ObjectStore: No se pudo obtener la chispa de la base de datos, devolviendo la
excepción NoSuchObjectException en el hilo Org .apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database'spark 'no encontrado;
base de datos de vista de cliente de colmena
hive> show databases;
OK
default
spark
Time taken: 0.11 seconds, Fetched: 3 row(s)
Análisis de causa:
Spark no encontró metadatos de Hive
solución:
Más configuración de metadatos, hive.metastore.uris
Integre Hive
hdfs-site.xml en scala y agregue la configuración
<property>
<name>hive.metastore.uris</name>
<value>thrift://node003:9083</value>
</property>
Spark integra Hive Spark en java para agregar la propiedad de configuración config ("hive.metastore.uris", "thrift: // node003: 9083")
SparkSession spark = SparkSession.builder().appName("随便写").config("hive.metastore.uris","thrift://node003:9083").enableHiveSupport().getOrCreate();