スパークを構築するためのPyCharm開発環境

  1. JDKをインストールします。

  ダウンロードしてインストールしたJDK-12.0.1_windows-x64_bin.exeを、環境変数を設定します。

  新しいシステム変数JAVA_HOME、インストールパスは、Javaで

  新しいシステム変数CLASSPATH、値;%JAVA_HOME%\ libに\ dt.jar;%JAVA_HOME%\ libに\ tools.jarを、(その前のドットに注意してください)

  システム変数PATHの設定は、%JAVA_HOME%のビンを追加;%JAVA_HOME%jrebin

  CMDタイプでは:JavaまたはJavaの-version、インストールが成功し、内部コマンドは表示されません。

  2. Hadoopの、および設定環境変数をインストールします。

  下载のHadoopます。https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.ta​​r.gz

  D:のような特定のパスを、抽出のHadoop-2.7.7.ta​​r.gz \ adasoftware \のHadoop

  D:\ adasoftware \のHadoopシステム変数HADOOP_HOMEを追加します

  D:\ adasoftware \ Hadoopの\ binにシステム変数PATHを追加

  組立winutilsをマウント:winutils対応するHadoopのバージョンは、インストールディレクトリのHadoopにビンビンを交換します

  3.Spark環境変数の設定

  スパークは、あなたが関連に基づいて、エラーメッセージを要求されます、関連のHadoopランタイム環境を設定しない場合の動作に影響を与えていないが、関連するHadoopのライブラリを呼び出す操作中に、Hadoopのの上にあります。

  Hadoopのは、スパークの対応バージョンをダウンロードします。http://spark.apache.org/downloads.html

  ファイルを解凍する:D:\ adasoftwareの\スパーク-2.4.3-binの-hadoop2.7

  PATHの値を追加します:D:\ adasoftwareの\スパーク-2.4.3-binに-hadoop2.7 \ビン;

  新しいシステム変数SPARK_HOME:D:\ adasoftwareの\スパーク-2.4.3-binの-hadoop2.7。

  4.ダウンロードしてインストールアナコンダ

  アナコンダのpythonをインストールした後Pythonインタプリタと、ほとんどのPythonライブラリを統合し、アナコンダは、そのようなパンダのnumpyのように、これらのコンポーネントをインストールする必要はありません。ダウンロードしてください。最後に、Pythonはパス環境変数に追加しました。

  5.通常のインストールの構成を示す同様の図でCMDのpysparkを実行します。

  この警告は、JDKのバージョン12が、高すぎるので表示されますが、動作には影響しません。効果はありません。

  スパークに配置6 pycharm

  オープンPyCharmは、プロジェクトを作成します。次に、「ファイル名を指定して実行」を選択 - >「編集設定」 - > Pythonの新しい構成を作成する+クリック

  「環境変数」増加SPARK_HOMEカタログPYTHONPATHディレクトリを選択します。

  SPARK_HOME:スパークのインストールディレクトリ

  PYTHONPATH:パイソンのスパークのインストールディレクトリ

  ファイル - >設定 - >あなたのプロジェクト - >プロジェクトの構造を選択

  (両方のファイルがフォルダスパークでのpythonファイルにあります)py4j-some-version.zipとパスpyspark.zip:追加するコンテンツルート右上を追加

  保存無錫婦人科病院http://www.ytsgfk120.com/

  7.テストの構成が成功したかどうかを、以下のプログラムコードは、滞在する家族へのpythonプログラムを作成します。

  輸入OS

  輸入SYS

  スパークソースフォルダのパス#

  os.environ [ 'SPARK_HOME'] = "D:\ adasoftwareの\スパーク"

  #Pythonのパスにpysparkを追加

  sys.path.append( "D:\ adasoftware \スパーク\パイソン")

  試してみてください。

  pyspark輸入からSparkContext

  pyspark輸入からSparkConf

  印刷(「成功しまし輸入スパークモジュール」)

  eとはImportErrorを除きます:

  印刷(「スパークモジュールをインポートすることはできません」、E)

  sys.exit(1)

  プログラムの通常出力した場合:「成功しまし輸入スパークモジュール」環境が適切に実行された可能性があることを意味します。

  

ここに画像を挿入説明


おすすめ

転載: blog.51cto.com/14503791/2434646