Se produjo un error durante el tiempo de ejecución de Spark Causado por: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD

1 mensaje de error

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$
	at Demo1_QuickStart$.main(Demo1_QuickStart.scala:7)
	at Demo1_QuickStart.main(Demo1_QuickStart.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 2 more

Process finished with exit code 1

2 Análisis de la razón

      <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>${spark.version}</version>
            <!--  <scope>provided</scope> -->
      </dependency>

Lo agregué al archivo pom

<scope>provided</scope>

Esta etiqueta indica que el entorno de compilación está disponible, pero no está disponible en tiempo de ejecución, la razón principal es que estas dependencias no se ingresan al empaquetar, porque están en el servidor para evitar que el paquete sea demasiado grande.

Solución: cierre la sesión <scope> proporcionado </scope> cuando se ejecuta localmente, como se muestra en la figura anterior.