Análise e notas práticas do Spark Big Data (Capítulo 1 Noções básicas da linguagem Scala-1)

Resumo do capítulo

Spark é um mecanismo de computação rápido e de uso geral projetado para processamento de dados em grande escala. Ele é desenvolvido e implementado pela linguagem Scala. Em relação à tecnologia de big data, é a computação de dados em si, e Scala possui recursos de engenharia de projetos de organização orientada a objetos e A função de cálculo de dados e a forte integração de Spark e Scala, este livro usará a linguagem Scala para desenvolver programas Spark, portanto, aprender bem Scala nos ajudará a compreender melhor a estrutura Spark.

1.1 Conhecendo Scala primeiro

1.1.1 Visão geral do Scala

Scala foi desenvolvido em 2001 pelo Laboratório de Métodos de Programação do Instituto Federal de Tecnologia de Lausanne (EPFL) e foi criado por Martin Odersky (Martin Odersky). Atualmente, muitas empresas que dependem de Java para aplicativos de negócios de missão crítica estão migrando ou migrando para Scala para melhorar a eficiência de desenvolvimento, escalabilidade de aplicativos e confiabilidade geral.

Scala é a abreviatura de Scalable Language. É uma linguagem de programação multiparadigma. Sua intenção original de design é realizar uma linguagem escalável e integrar vários recursos de programação orientada a objetos e programação funcional. detalhes como segue:

1. Scala é orientada a objetos
   Scala é uma linguagem pura orientada a objetos onde cada valor é um objeto. Os tipos de dados e o comportamento dos objetos são descritos pelas características da classe.

2. Scala é programação funcional
   Scala também é uma linguagem funcional onde funções estão disponíveis como valores.

3. Scala é digitado estaticamente.
   Scala possui um sistema de tipos que garante segurança e consistência de código por meio de verificações em tempo de compilação.

4. Scala é extensível
   Scala fornece muitos mecanismos de linguagem exclusivos e pode adicionar novas estruturas de linguagem de maneira fácil e contínua na forma de bibliotecas.

5. Scala é interoperável
   Scala foi projetado para interoperar bem com o popular Java. Scala usa o compilador Scala para compilar arquivos de origem em arquivos de classe Java. Podemos chamar bibliotecas de classes Java a partir dele e também podemos chamar código Scala de aplicativos Java.

1.1.2 Baixe e instale Scala

A linguagem Scala pode ser executada em Windows, Linux, Mac OS e outros sistemas. Como o Scala é executado na plataforma JVM, o ambiente JDK deve ser configurado antes de instalar o Scala (a versão do JDK não deve ser inferior a 1.5). A versão do JDK usada neste livro é jdk1.8.

1. Instale Scala no Windows

• Baixe o pacote de instalação do Scala.
  Visite o site oficial do Scala The Scala Programming Language , clique em [Download] para entrar na página de download, onde você pode baixar a versão mais recente do Scala. Considerando a estabilidade do Scala e a compatibilidade do Spark, optamos por fazer o download do Scala2.11.8 (endereço de download: Scala 2.11.8 | The Scala Programming Language ), conforme mostra a figura a seguir:
  

• Descompacte o pacote de instalação do Scala e configure as variáveis ​​de ambiente no sistema Windows.
  Após o download ser bem-sucedido, descompacte o pacote de instalação do Scala scala-2.11.8.zip no local necessário e configure as variáveis ​​de ambiente no sistema Windows, clique em [ Este computador] > [Propriedades] > [Configurações avançadas do sistema] > [Variáveis ​​de ambiente], clique em [Novo] nas variáveis ​​do sistema, o valor da variável é o local onde você descompactou, conforme mostrado na figura abaixo: Adicione o diretório bin
  
  de Scala para o caminho, conforme mostrado na figura abaixo:
  

• Digite a linha de comando do Windows e digite o scalacomando "" para testar se o ambiente Scala foi instalado com sucesso. Como mostrado abaixo:
  

2. Instale Scala no Linux

• Baixe o pacote de instalação Scala e carregue o pacote de instalação para o sistema/exportação/software Linux
• Execute tar -zxvf scala-2.11.8.tgz -C /export/servers/o comando para descompactar e instalar
• Adicionar variáveis ​​de ambiente Scala no sistema Linux

3. Instale Scala no Mac

• Baixe o pacote de instalação do Scala e descompacte-o no diretório principal (se você não conseguir encontrar o diretório principal, volte para a área de trabalho e pressione ⇧⌘H para entrar no diretório principal do computador).
• Execute " open ~/.bash_profile" para adicionar variáveis ​​de ambiente Scala.
• Digite o scala -versioncomando " " para verificar o status de instalação do Scala. Se o número da versão do Scala for exibido no terminal, significa que o Scala foi instalado com sucesso.

1.1.3 Baixe e instale o plug-in Scala na ferramenta de desenvolvimento IDEA

Atualmente, existem principalmente duas ferramentas de desenvolvimento principais para Scala: ferramentas Eclipse e ferramentas IDEA. Podemos instalar os plug-ins Scala correspondentes nessas duas ferramentas de desenvolvimento para desenvolvimento Scala.

Como a ferramenta IDEA pode identificar automaticamente erros de código e realizar reparos simples, e a ferramenta IDEA possui muitos plug-ins integrados excelentes, a maioria dos programadores de desenvolvimento Scala agora escolhe IDEA como uma ferramenta para desenvolver Scala.

Este livro usará o sistema operacional Windows como exemplo para explicar passo a passo como baixar e instalar o plug-in Scala na ferramenta IDEA. As etapas específicas são as seguintes.

1. Baixe o pacote de instalação do IDEA, abra o pacote de instalação e clique no botão [Avançar] para instalar até que a interface "Bem-vindo ao IntelliJ IDEA" apareça e a instalação termine.

2. Visite " https://plugins.jetbrains.com/plugin/1347-scala " para baixar o plugin Scala.

3. Clique em [Configurar] → [Plugins] → [Instalar plugin do disco] → [OK] → [OK] no canto inferior direito da interface principal do IDEA, clique no botão [Reiniciar] para reiniciar a ferramenta IDEA e a instalação é completo.

Obs: Para melhor aproveitamento do computador, não instale todo o software na unidade C, ele pode ser instalado em outras letras de unidade, o leitor escolhe por si mesmo

1.1.4 Desenvolvendo o primeiro programa Scala

1. Crie um projeto. Na interface principal da ferramenta IDEA, clique em [criar Novo Projeto] para criar um projeto, conforme mostrado na figura a seguir:
   
   
   

2. Crie pacotes e classes Scala.

• Crie um pacote
  Selecione a pasta "src", clique com o botão direito e selecione o botão [Novo]→[Pacote], digite o nome do pacote, o efeito é mostrado na figura
  
• Crie uma classe
  Selecione o nome do pacote, clique com o botão direito em [Novo]→[Classe Scala] e selecione o tipo [Objeto] para criar uma classe Scala, o nome da classe é "HelloWorld", o efeito é mostrado na figura a seguir:
  

3. Escreva o código no arquivo HelloWorld.scala, o código é o seguinte.

object HelloWorld {
    def main(args: Array[String]) {
        println("Hello, world!")
    }
}

4. Execute o código e a saída do console será mostrada na figura abaixo.
   
   Nota: Diferentes versões do IntelliJ IDEA têm interfaces ligeiramente diferentes e os leitores precisam determinar por si próprios de acordo com a versão.

Reimpresso de: https://blog.csdn.net/u014727709/article/details/132032236
bem-vindo para começar, bem-vindo para comentar, bem-vindo para corrigir