使用ドッキングウィンドウのビルドスパーク分散したクラスタ

クラスタだけでなく、ミラーリング、およびreganzm / spark_clusterにDocker_hubにアップロードし、あなたがして、ドッキングウィンドウの検索reganzm / spark_clusterを使用することができます
上記のbuild_network.shを使用して、ローカルにこの画像Pulll、start_container.shがネットワークを構築している、あなたは、コンテナを開始することができますクラスタの学習環境を起動するための鍵！

ドッカーハブ引っ張るdocker.io/reganzm/spark_clusterの画像ファイルから、画像ファイルが良いの私のプリプロダクションで、画像ファイルが直接構築するために使用することができる
スパークHadoopクラスタと
docker search reganzm/spark_cluster
pullコマンド：
docker pull docker.io/reganzm/spark_cluster
実行が完了すると、利用ドッキングウィンドウの画像を見ることができますローカルミラーリストへ
ビルドDockerNetworking
次のように新しく、使用されたSH build_network.shの実行build_network.shを、読み取ります。
```
echo create network
docker network create --subnet=172.16.0.0/16 spark
echo create success 
docker network ls
```
実行が完了すると、利用ドッキングウィンドウネットワークLSは、ネットワークが作成されたビュー
スクリプトを実行run_containers.sh使用SHは、コンテナを起動
使用を開始した後docker ps、容器を表示するために
あなたが見ることができるhadoop-master,hadoop-slave1,hadoop-slave2，hive,mysql5個のコンテナが起動します。
新しいstop_containers.shスクリプトは、コンテナのニーズが停止する際に、実行中の容器、停止するためにはsh stop_containers.sh、注意stop_containers.shが削除される
データが削除されるコンテナ以外を、！
起動後、Dを使用することができるocker exec -it hadoop-master /bin/bash容器のHadoopマスターノードを入力します。魚のプラグインをインストールすることをお勧めします
覚えておくのとヒントは、コマンドを使用していました。CentOSのは魚が非常に簡単ですインストールしyum install fish、あなたがyumのソースをインストールする必要があり、コンクリートは、オンライン検索することができます。
あなたは、コマンドの履歴を見ることができ、魚を起動し、コマンドを入力します。
デフォルトのバージョンの観点から、使用した印刷情報がpython2.7です。Pythonのバージョンは、ここではPython2.7とスパークので、デフォルトのバージョンpython3.6.1を修正することにより変更することができます
使用python3.xが同じであるので、我々はあなたがOCDを持っている場合、次のことができ、デフォルトのpython2.7バージョンを使用しますこのクラスに対してノートは、デフォルトのPythonのバージョンに変更されます
3.xの
jupyter：
http://note.youdao.com/noteshare?id=e9aeefa075413da0f2c8ca0594e5d1d4&sub=CF59080CB5DA4EF3BC47BCC003C282EF
zeepline：
http://note.youdao.com/noteshare?id=c9827c3eb200c8ce90894820a566560c&sub=F738636678B84072A636D454925D3833
http://note.youdao.com/noteshare?id=48cae00fcf4f0f6c056e6a7a825cb930&sub=E5A7364AA2B1475689F0AC0C09C09CFF
ネットワークディスクアドレス：
链接：https://pan.baidu.com/s/1i8yO2X25TZ0ofSEXPmIq-g 密码：akfq

assassin_sword

公開された63元の記事・ウォン称賛52 ・ビュー40000 +

プライベートの手紙の懸念

使用ドッキングウィンドウのビルドスパーク分散したクラスタ

おすすめ