章のまとめ

Spark は、大規模なデータ処理用に設計された高速かつ汎用のコンピューティングエンジンです。Scala 言語によって開発および実装されています。ビッグデータテクノロジに関しては、データそのものをコンピューティングするものであり、Scala はオブジェクト指向組織プロジェクトエンジニアリング機能の両方を備えていますデータを計算する機能、および Spark と Scala の緊密な統合について説明します。この本では、Scala 言語を使用して Spark プログラムを開発します。そのため、Scala をよく学ぶことは、Spark フレームワークをよりよく理解するのに役立ちます。

1.1 まずは Scala について知る

1.1.1 Scalaの概要

Scala は、ローザンヌ連邦工科大学 (EPFL) のプログラミング手法研究所によって 2001 年に開発され、Martin Odersky (Martin Odersky) によって作成されました。現在、ミッションクリティカルなビジネスアプリケーションを Java に依存している多くの企業が、開発効率、アプリケーションのスケーラビリティ、全体的な信頼性を向上させるために Scala に移行している、または移行しようとしています。

Scala は Scalable Language の略で、オブジェクト指向プログラミングと関数型プログラミングのさまざまな機能を統合し、スケーラブルな言語を実現することを目的としたマルチパラダイムプログラミング言語です。詳細は次のとおりです。

Scala はオブジェクト指向です
Scala は、すべての値がオブジェクトである純粋なオブジェクト指向言語です。オブジェクトのデータ型と動作は、クラスの特性によって記述されます。
Scala は関数型プログラミングです。Scala
は、関数を値として使用できる関数型言語でもあります。
Scala は静的に型付けされており、
コンパイル時のチェックを通じてコードのセキュリティと一貫性を保証する型システムを備えています。
Scala は拡張可能です
Scala は多くの独自の言語メカニズムを提供し、ライブラリの形式で新しい言語構造を簡単かつシームレスに追加できます。
Scala は相互運用可能
Scala は、人気のある Java と適切に相互運用できるように設計されています。Scala は、Scala コンパイラーを使用して、ソースファイルを Java クラスファイルにコンパイルします。そこから Java クラスライブラリを呼び出すことができます。また、Java アプリケーションから Scala コードを呼び出すこともできます。

1.1.2 Scala をダウンロードしてインストールする

Scala 言語は、Windows、Linux、Mac OS およびその他のシステム上で実行できます。Scala は JVM プラットフォーム上で実行されるため、Scala をインストールする前に JDK 環境を構成する必要があります (JDK バージョンは 1.5 未満であってはなりません)。本書で使用する JDK のバージョンは jdk1.8 です。

Windows に Scala をインストールする

Scala インストールパッケージをダウンロードします。
Scala 公式 Web サイト「The Scala Programming Language」にアクセスし、[ダウンロード] をクリックしてダウンロードページに入り、最新の Scala バージョンをダウンロードできます。Scala の安定性と Spark の互換性を考慮して、次の図に示すように、Scala2.11.8 (ダウンロードアドレス: Scala 2.11.8 | The Scala Programming Language ) をダウンロードすることを選択します。
Scala インストールパッケージを解凍し、Windows システムで環境変数を構成します。
ダウンロードが成功したら、Scala インストールパッケージ scala-2.11.8.zip を必要な場所に解凍し、Windows システムで環境変数を構成します。 [このコンピュータ] > [プロパティ] > [システムの詳細設定] > [環境変数] で、システム環境変数の [新規] をクリックします。変数値は、次の図に示すように、解凍した場所になります

。以下の図に示すように、Scala をパスに追加します。
Windows コマンドラインに入り、「scala」コマンドを入力して、Scala 環境が正常にインストールされているかどうかをテストします。以下に示すように:

Linux に Scala をインストールする

Scala インストールパッケージをダウンロードし、インストールパッケージを Linux system/export/software にアップロードします。
tar -zxvf scala-2.11.8.tgz -C /export/servers/コマンドを実行して解凍してインストールします
Linux システムに Scala 環境変数を追加する

Mac に Scala をインストールする

Scala インストールパッケージをダウンロードし、メインディレクトリに解凍します (メインディレクトリが見つからない場合は、デスクトップに戻り、⇧⌘H を押してコンピュータのメインディレクトリに入ります)。
" open ~/.bash_profile" を実行して、Scala 環境変数を追加します。
「scala -version」コマンドを入力して、Scala のインストール状況を確認します。ターミナルに Scala のバージョン番号が表示されていれば、Scala は正常にインストールされています。

1.1.3 IDEA 開発ツールに Scala プラグインをダウンロードしてインストールする

現在、Scala の開発ツールとしては主に Eclipse ツールと IDEA ツールの 2 つが主流であり、これら 2 つの開発ツールに対応する Scala プラグインをインストールして Scala 開発を行うことができます。

IDEA ツールはコードエラーを自動的に特定し、簡単な修復を実行でき、IDEA ツールには多くの優れた組み込みプラグインがあるため、現在、ほとんどの Scala 開発プログラマーが Scala 開発ツールとして IDEA を選択しています。

本書では、Windows オペレーティングシステムを例として、IDEA ツールに Scala プラグインをダウンロードしてインストールする方法を段階的に説明します。具体的な手順は次のとおりです。

IDEA インストールパッケージをダウンロードし、インストールパッケージを開いて [次へ] ボタンをクリックしてインストールし、「IntelliJ IDEA へようこそ」インターフェイスが表示されたら、インストールは終了します。
「https://plugins.jetbrains.com/plugin/1347-scala」にアクセスして、Scala プラグインをダウンロードします。
IDEAメインインターフェース右下の[設定]→[プラグイン]→[ディスクからプラグインをインストール]→[OK]→[OK]をクリックし、[再起動]ボタンをクリックしてIDEAツールを再起動すると、インストールが完了します。完了。

注: コンピュータをより良く使用するために、すべてのソフトウェアを C ドライブにインストールしないでください。他のドライブ文字にインストールすることもできます。読者は自分で選択します。

1.1.4 最初の Scala プログラムの開発

プロジェクトを作成します。次の図に示すように、IDEA ツールのメインインターフェイスで [新しいプロジェクトの作成] をクリックしてプロジェクトを作成します。
パッケージと Scala クラスを作成します。

パッケージの作成
「src」フォルダを選択し、右クリックして[新規]→[パッケージ]ボタンを選択し、パッケージ名を入力すると図のようになります。
クラスの作成
パッケージ名を選択し、[新規]→[Scala クラス]を右クリックし、[オブジェクト] タイプを選択して Scala クラスを作成します。クラス名は「HelloWorld」です。効果は次の図に示されています。

HelloWorld.scala ファイルにコードを記述します。コードは次のとおりです。

object HelloWorld {
    def main(args: Array[String]) {
        println("Hello, world!")
    }
}

コードを実行すると、コンソール出力が次の図に示されます。

注: IntelliJ IDEA のバージョンが異なるとインターフェースが若干異なるため、読者はバージョンに応じて自分で判断する必要があります。

転載元: https://blog.csdn.net/u014727709/article/details/132032236
開始へようこそ、コメントへようこそ、修正へようこそ

Spark ビッグデータ分析と実践メモ (第 1 章 Scala 言語の基礎-1)

記事ディレクトリ