1. JDKをインストールします。
ダウンロードしてインストールしたJDK-12.0.1_windows-x64_bin.exeを、環境変数を設定します。
新しいシステム変数JAVA_HOME、インストールパスは、Javaで
新しいシステム変数CLASSPATH、値;%JAVA_HOME%\ libに\ dt.jar;%JAVA_HOME%\ libに\ tools.jarを、(その前のドットに注意してください)
システム変数PATHの設定は、%JAVA_HOME%のビンを追加;%JAVA_HOME%jrebin
CMDタイプでは:JavaまたはJavaの-version、インストールが成功し、内部コマンドは表示されません。
2. Hadoopの、および設定環境変数をインストールします。
下载のHadoopます。https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
D:のような特定のパスを、抽出のHadoop-2.7.7.tar.gz \ adasoftware \のHadoop
D:\ adasoftware \のHadoopシステム変数HADOOP_HOMEを追加します
D:\ adasoftware \ Hadoopの\ binにシステム変数PATHを追加
組立winutilsをマウント:winutils対応するHadoopのバージョンは、インストールディレクトリのHadoopにビンビンを交換します
3.Spark環境変数の設定
スパークは、あなたが関連に基づいて、エラーメッセージを要求されます、関連のHadoopランタイム環境を設定しない場合の動作に影響を与えていないが、関連するHadoopのライブラリを呼び出す操作中に、Hadoopのの上にあります。
Hadoopのは、スパークの対応バージョンをダウンロードします。http://spark.apache.org/downloads.html
ファイルを解凍する:D:\ adasoftwareの\スパーク-2.4.3-binの-hadoop2.7
PATHの値を追加します:D:\ adasoftwareの\スパーク-2.4.3-binに-hadoop2.7 \ビン;
新しいシステム変数SPARK_HOME:D:\ adasoftwareの\スパーク-2.4.3-binの-hadoop2.7。
4.ダウンロードしてインストールアナコンダ
アナコンダのpythonをインストールした後Pythonインタプリタと、ほとんどのPythonライブラリを統合し、アナコンダは、そのようなパンダのnumpyのように、これらのコンポーネントをインストールする必要はありません。ダウンロードしてください。最後に、Pythonはパス環境変数に追加しました。
5.通常のインストールの構成を示す同様の図でCMDのpysparkを実行します。
この警告は、JDKのバージョン12が、高すぎるので表示されますが、動作には影響しません。効果はありません。
スパークに配置6 pycharm
オープンPyCharmは、プロジェクトを作成します。次に、「ファイル名を指定して実行」を選択 - >「編集設定」 - > Pythonの新しい構成を作成する+クリック
「環境変数」増加SPARK_HOMEカタログPYTHONPATHディレクトリを選択します。
SPARK_HOME:スパークのインストールディレクトリ
PYTHONPATH:パイソンのスパークのインストールディレクトリ
ファイル - >設定 - >あなたのプロジェクト - >プロジェクトの構造を選択
(両方のファイルがフォルダスパークでのpythonファイルにあります)py4j-some-version.zipとパスpyspark.zip:追加するコンテンツルート右上を追加
保存無錫婦人科病院http://www.ytsgfk120.com/
7.テストの構成が成功したかどうかを、以下のプログラムコードは、滞在する家族へのpythonプログラムを作成します。
輸入OS
輸入SYS
スパークソースフォルダのパス#
os.environ [ 'SPARK_HOME'] = "D:\ adasoftwareの\スパーク"
#Pythonのパスにpysparkを追加
sys.path.append( "D:\ adasoftware \スパーク\パイソン")
試してみてください。
pyspark輸入からSparkContext
pyspark輸入からSparkConf
印刷(「成功しまし輸入スパークモジュール」)
eとはImportErrorを除きます:
印刷(「スパークモジュールをインポートすることはできません」、E)
sys.exit(1)
プログラムの通常出力した場合:「成功しまし輸入スパークモジュール」環境が適切に実行された可能性があることを意味します。