SparkSql se conecta a Hive, pero no se puede encontrar la base de datos de Hive o la tabla de Hive

20/09/27 18:32:57 WARN ObjectStore: No se pudo obtener la chispa de la base de datos, devolviendo la
Excepción NoSuchObjectException en el hilo "principal" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: No se encontró la 'chispa' de la base de datos;

Escena del proyecto:

Spark integra Hive, idea usa Spark localmente para leer datos en Hive

Descripción del problema:

Verifique que la chispa de la base de datos exista en el cliente de Hive, pero conectarse a Hive usando chispa no puede encontrar la
excepción de chispa de la base de datos es la siguiente
20/09/27 18:32:57 WARN ObjectStore: No se pudo obtener la chispa de la base de datos, devolviendo la
excepción NoSuchObjectException en el hilo Org .apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database'spark 'no encontrado;

base de datos de vista de cliente de colmena

hive> show databases;
OK
default
spark
Time taken: 0.11 seconds, Fetched: 3 row(s)

Análisis de causa:

Spark no encontró metadatos de Hive


solución:

Más configuración de metadatos, hive.metastore.uris

Integre Hive
hdfs-site.xml en scala y agregue la configuración

    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://node003:9083</value>
    </property>


Spark integra Hive Spark en java para agregar la propiedad de configuración config ("hive.metastore.uris", "thrift: // node003: 9083")

SparkSession  spark = SparkSession.builder().appName("随便写").config("hive.metastore.uris","thrift://node003:9083").enableHiveSupport().getOrCreate();

Supongo que te gusta

Origin blog.csdn.net/weixin_43614067/article/details/108833075
Recomendado
Clasificación