Análisis de Spark Big Data y notas prácticas (Capítulo 1: Conceptos básicos del lenguaje Scala-1)

Resumen del capítulo

Spark es un motor informático rápido y de propósito general diseñado para el procesamiento de datos a gran escala. Está desarrollado e implementado mediante el lenguaje Scala. En cuanto a la tecnología de big data, son datos informáticos en sí, y Scala tiene capacidades de ingeniería de proyectos de organización orientada a objetos. y La función de calcular datos y la estrecha integración de Spark y Scala. Este libro utilizará el lenguaje Scala para desarrollar programas Spark, por lo que aprender bien Scala nos ayudará a comprender mejor el marco de Spark.

1.1 Conociendo Scala primero

1.1.1 Descripción general de Scala

Scala fue desarrollado en 2001 por el Laboratorio de Métodos de Programación del Instituto Federal de Tecnología de Lausana (EPFL) y fue creado por Martin Odersky (Martin Odersky). Actualmente, muchas empresas que dependen de Java para aplicaciones comerciales de misión crítica están migrando o están migrando a Scala para mejorar la eficiencia de su desarrollo, la escalabilidad de sus aplicaciones y su confiabilidad general.

Scala es la abreviatura de Scalable Language, es un lenguaje de programación multiparadigma. Su intención de diseño original es realizar un lenguaje escalable e integrar varias características de la programación orientada a objetos y la programación funcional. detalles de la siguiente manera:

1. Scala está orientado a objetos
   Scala es un lenguaje puro orientado a objetos donde cada valor es un objeto. Los tipos de datos y el comportamiento de los objetos se describen mediante características de clase.

2. Scala es programación funcional
   Scala también es un lenguaje funcional donde las funciones están disponibles como valores.

3. Scala tiene tipos estáticos y
   tiene un sistema de tipos que garantiza la seguridad y coherencia del código mediante comprobaciones en tiempo de compilación.

4. Scala es extensible
   Scala proporciona muchos mecanismos de lenguaje únicos y puede agregar fácilmente y sin problemas nuevas estructuras de lenguaje en forma de bibliotecas.

5. Scala es interoperable
   Scala está diseñado para interoperar bien con el popular Java. Scala utiliza el compilador de Scala para compilar archivos fuente en archivos de clase Java. Podemos llamar a bibliotecas de clases Java desde allí y también podemos llamar al código Scala desde aplicaciones Java.

1.1.2 Descargar e instalar Scala

El lenguaje Scala puede ejecutarse en Windows, Linux, Mac OS y otros sistemas. Dado que Scala se ejecuta en la plataforma JVM, el entorno JDK debe configurarse antes de instalar Scala (la versión de JDK no debe ser inferior a 1.5). La versión JDK utilizada en este libro es jdk1.8.

1. Instalar Scala en Windows

• Descargue el paquete de instalación de Scala.
  Visite el sitio web oficial de Scala The Scala Programming Language , haga clic en [Descargar] para ingresar a la página de descarga, donde puede descargar la última versión de Scala. Teniendo en cuenta la estabilidad de Scala y la compatibilidad de Spark, elegimos descargar Scala2.11.8 (dirección de descarga: Scala 2.11.8 | The Scala Programming Language ), como se muestra en la siguiente figura:
  

• Descomprima el paquete de instalación de Scala y configure las variables de entorno en el sistema Windows.
  Después de que la descarga sea exitosa, descomprima el paquete de instalación de Scala scala-2.11.8.zip en la ubicación que necesita y configure las variables de entorno en el sistema Windows, haga clic en [ Esta computadora] > [Propiedades] > [Configuración avanzada del sistema] > [Variables de entorno], haga clic en [Nuevo] en las variables del sistema, el valor de la variable es la ubicación donde descomprimió, como se muestra en la siguiente figura: Agregue el directorio bin
  
  de Scala a la ruta, como se muestra en la siguiente figura:
  

• Ingrese la línea de comando de Windows e ingrese el scalacomando " " para probar si el entorno Scala se instaló correctamente. Como se muestra abajo:
  

2. Instalar Scala en Linux

• Descargue el paquete de instalación de Scala y cárguelo en el sistema/exportación/software de Linux
• Ejecute tar -zxvf scala-2.11.8.tgz -C /export/servers/el comando para descomprimir e instalar.
• Agregue variables de entorno Scala en el sistema Linux

3. Instalar Scala en Mac

• Descargue el paquete de instalación de Scala y descomprímalo en el directorio principal (si no puede encontrar el directorio principal, regrese al escritorio y presione ⇧⌘H para ingresar al directorio principal de la computadora).
• Ejecute " open ~/.bash_profile" para agregar variables de entorno de Scala.
• Ingrese el scala -versioncomando " " para verificar el estado de instalación de Scala. Si el número de versión de Scala se muestra en el terminal, significa que Scala se instaló correctamente.

1.1.3 Descargue e instale el complemento Scala en la herramienta de desarrollo IDEA

En la actualidad, existen principalmente dos herramientas de desarrollo principales para Scala: herramientas Eclipse y herramientas IDEA. Podemos instalar los complementos de Scala correspondientes en estas dos herramientas de desarrollo para el desarrollo de Scala.

Dado que la herramienta IDEA puede identificar automáticamente errores de código y realizar reparaciones simples, y que la herramienta IDEA tiene muchos complementos integrados excelentes, la mayoría de los programadores de desarrollo de Scala ahora eligen IDEA como herramienta para desarrollar Scala.

Este libro tomará el sistema operativo Windows como ejemplo para explicar paso a paso cómo descargar e instalar el complemento Scala en la herramienta IDEA, los pasos específicos son los siguientes.

1. Descargue el paquete de instalación de IDEA, abra el paquete de instalación y haga clic en el botón [Siguiente] para instalar hasta que aparezca la interfaz "Bienvenido a IntelliJ IDEA", luego finaliza la instalación.

2. Visite " https://plugins.jetbrains.com/plugin/1347-scala " para descargar el complemento Scala.

3. Haga clic en [Configurar] → [Complementos] → [Instalar complemento desde el disco] → [Aceptar] → [Aceptar] en la esquina inferior derecha de la interfaz principal de IDEA, haga clic en el botón [Reiniciar] para reiniciar la herramienta IDEA y la instalación completo.

Nota: Para un mejor uso de la computadora, no instale todo el software en la unidad C, se puede instalar en otras letras de unidad, el lector elige por sí mismo.

1.1.4 Desarrollando el primer programa Scala

1. Crea un proyecto. En la interfaz principal de la herramienta IDEA, haga clic en [crear nuevo proyecto] para crear un proyecto, como se muestra en la siguiente figura:
   
   
   

2. Crear paquetes y clases de Scala.

• Cree un paquete
  Seleccione la carpeta "src", haga clic derecho y seleccione el botón [Nuevo] → [Paquete], ingrese el nombre del paquete, el efecto se muestra en la figura
  
• Crear una clase
  Seleccione el nombre del paquete, haga clic derecho en [Nuevo] → [Clase Scala] y seleccione el tipo [Objeto] para crear una clase Scala, el nombre de la clase es "HelloWorld", el efecto se muestra en la siguiente figura:
  

3. Escriba el código en el archivo HelloWorld.scala, el código es el siguiente.

object HelloWorld {
    def main(args: Array[String]) {
        println("Hello, world!")
    }
}

4. Ejecute el código y la salida de la consola se muestra en la siguiente figura.
   
   Nota: Las diferentes versiones de IntelliJ IDEA tienen interfaces ligeramente diferentes y los lectores deben determinarlas por sí mismos según la versión.

Reimpreso de: https://blog.csdn.net/u014727709/article/details/132032236
bienvenido a comenzar, bienvenido a comentar, bienvenido a corregir