1.要件：
1.1背景説明
中国経済の急速な発展に伴い、大衆の利益は改善しているが、まだあります
財政支援が必要な住民の一部は、よりするために、毎月の都市部の最低生活保障を受けて、
あなたは正確な貧困削減を達成するために良いですチームは「市の人口情報テーブルを保証する」与えられたする必要が
自給自足の所得人口、失業者人口の数が少ない、などの視覚や文字の数聞くなど、障害を持つ人々の取得により
人当たりの所得ごとに、地域の自給手当人口の数を分析した情報を、情報、全体的な状況近年では、収入など、
証拠を与えるために、貧困緩和に関する正確なデータを達成するために。
このタスクを達成するために、あなたは業界で広く使用されている「パイソン」の言語を選択することを計画グループは、
基本プロジェクト全体の言語、およびMySQL、matplotlibのの総合利用、パンダ、ハイブの他の技術として、
手術、開発効率を向上させ、プロジェクトの要件を達成するために、このプロジェクトは、道を通じて構築するために、サーバークラスタ環境を使用して
、「都市人口情報テーブルを保証する」掃除と解析の買収を通じて、かつ正確に与えられた貧困削減を達成するために努力
データのサポートを。
タスクの一つは、（15点）のHadoopプラットフォームコンポーネントをデプロイし、管理するため
11、デプロイメント環境
1）のHadoopシステム「は/ usr / local / Hadoopの」に格納されているが 、 構成hadoop.tmp.dirディレクトリ必要
に「を/ usr / local格納場所を/ adoop / TMP "
2）のHadoop dfs.namenode.name.dirに配置されては/ usr / local / adoop / TMP / DFS /名前である
。3）のHadoop dfs.datanode.data.dirを配置は/ usr / local / adoopあります/ TMP / DFS /データ;
4）名前ノードをフォーマットします。
5）オープン名前ノードとデータノードデーモン。
22、ネットワーク構成（すべてのノード）
1）マシンの現在の名前を変更し、
2）現在のログインを終了し、再度ログイン;
3）ファイアウォールをオフにする;
4）現在のマシンのIPを変更する;
5）ホストファイルを構成し;
6）ネットワークを再起動するために、
7 ）通常のユーザを作成する（もしCentOSのシステムのインストールの過程で、グラフィカルインターフェースを作成することができ
、パスワード）のHadoopに設定されているHadoopのユーザーを。
3 3、パスワード認証の設定なしのSSH
のHadoopは、リモートHadoopのデーモンを管理する必要が実行するプロセスは、Hadoopの起動後、
名前ノードは、（セキュアシェル）を起動して、SSHによる各データノードに保つ様々停止することである
プロセスを気に。この時間は、ノード間の命令を実行しなければならないため、パスワードのフォームを入力する必要はありません
。この必要性は、SSHログイン使用してパスワードなしのフォームを使用してSSH公開鍵認証、そのパスワードなしの名前ノードを構成するために
記録をしてDataNameプロセスを開始し、同じ原理、データノードをまた、パスワードなしでSSHを使用するようにログオンすることができます
名前ノード。
（すべてのノード）; 1）SSHプロトコルをインストールし、起動
2）のHadoopユーザに切り替えること;
3）各ノードの秘密鍵を生成し、（すべてのノード）
4）「/ホーム/ Hadoopの/」「があるかどうかを見るための.ssh」はフォルダ、および2つのケースがあるかどうかをファイル「の.ssh」
だけで何の暗号鍵ペアを生成しなかった。（すべてのノード）
5）id_rsa.pubが中に入ることを許可キーに追加し、（すべてのノード）
（すべてのノード）; 6）ファイル「authorized_keysに」権利を修正する
（すべてのノード）; 7）SSHの設定は
8後にSSHサービスを再起動することを忘れないでください）設定した後、単に有効な設定をするために、（すべてのノード）
9）ユーザのHadoopに、
（すべてのノード）; 10）検証が成功した
各スレーブノードにマスターノードid_rsa_pub公開鍵の11）コピー;
12）各スレーブに;公開鍵にコピーマスタノードノードのauthorized_keysファイルをコピー
（すべてのノードのスラブは、E VE）
（すべてのノードのスラブは、電子をVE）; 13）ファイルid_rsa.pubを削除する
パスワード認証無しマスター認証に各スレーブノード）14;（マスタノード）
公開鍵15）マスタコピーに各スレーブノードは、（ステップ完了するために16、17を注意
操作後A）スレーブノード
16）マスタファイルノードのauthorized_keysにスレーブにコピーされたノードの公開鍵からコピー;
（マスターノード）
17）ファイルid_rsa.pubを削除する（マスターノード）
18）ことは、マスターシークレットを確認しないように各スレーブノード コード検証;（スラブが電子ノードをVE）
4. 4、ジャワの設置環境（すべてのノードを構成する必要があります）。
/ rootディレクトリにアップロードJDK-8u77-linuxの-x64.tar.gzマスターノードパッケージ。
1）ルートに;
2）新しいjavaディレクトリ;
3）は/ usr / javaディレクトリに抽出し;
4）環境変数を設定し、
5）を有効にするには、環境変数を追加します。
6）インストールが成功したことを確認します。
55、マスタノードのHadoop上に搭載
1）/ usrディレクトリを解凍する;
2）名前を変更し、
3）環境変数のHadoopの構成;
4）のHadoop構成の環境変数;
5）hadoop-env.shを配置;
6）site.xmlのコア配置
7）のsite.xml-HDFS設定;
site.xmlの糸8）に配置;
9）mapred site.xmlの立体配置;
; 10）マスター構成ファイル
構成ファイル11）のスレーブと、
12 ）新しいディレクトリ;
13）は/ usr / local /ディレクトリのアクセス許可のHadoopを変更する;
14）スレーブ1スレーブ2マスタと同期インストールファイルHadoopの上;
15）は、各スレーブノードにHadoopの環境変数に配置され、（すべてのスレーブノード）
）（すべてのスレーブノードを; 16）を有効にするHadoopの環境変数設定を反応
17）変更は/ usr / local権限/ Hadoopのディレクトリ（すべてのスレーブ・ノード）
18）のHadoopユーザに切り替えます。（すべてのスレーブ・ノード）
66、テスト
のHadoopへの切り替え1）;（マスターノード）
2）形式に（マスターノード）
3）のHadoopを開始（マスターノード）
4）を見るJavaプロセス;
5）ブラウザを使用名前ノードマスターノードコンピュータノードステータスを参照;
6）ブラウザデータノードデータノードと、
7）マスターノードのすべてのアプリケーションを表示するためにブラウザを使用して、
8）ノードを閲覧;
。9）のHadoopを閉じ。
二つのタスク、データ収集（15分）
ヘッドスタイル、カスタム書面またはデータ収集源が利用できるの以下のリストによると、対応する「タスクII」保存し
、サーバーを。
タスク3、データクリーニングおよび分析（25点）
11））テーブルのハイブを作成する;
22））インポートデータ対応テーブルクローリングに;
33））データセットを読み取る;
44））パージデータを無効データ;
数値欠落））55 、カラムの指定したプロパティの
、欠落データ値を持つ行を表示するために））66
））77、およびMoneyが新しいストレージ・テーブルを追加した値を欠落;
）8）とデータは以下を参照してください読み込みセット。
2013-2015自給収入集団のAA））の平均;
）b）の2016年に失業者人口保証地区の数をカウント;
CC））2015- 2016年、平均所得「未登録失業者」の;
DD）） 2014年「視聴覚障害」と地区の数;
EE））が指定された属性のための標準化、およびファイルを書き込みます。
タスク4、データの視覚化（2200点）
のデータを分析するのMySQLデータベース、可視化およびコンテンツのレンダリングにプッシュ：
11））ドローチャートmatplotlibの郡を使用して、
22））2年示します;人口の平均所得ことを保証する
。失業中の地区の人口を保証する人口統計））33
44））は、2年間の平均所得「未登録失業者」と表示;と
））55年の地区を表示それは「視聴覚障害者」の数を持っています。
タスク5：包括解析（15）は
、視覚チャートに基づいて、次の質問に回答します
; 1）の領域は、最大の投資を必要とする2016年のための資金を保証する
平均最小収入2）2016地域人口;
;最高収入3）2016年平均の地域の人口
4）集団の平均自給自足の収入を向上させるための方法を。
2.実装
リンクします。https：//pan.baidu.com/s/1Olalilme_4hmpeJOakrEDg
抽出コード：htp1
あなたはこのオープンBaiduのネットワークディスク電話アプリケーションの内容をコピーした後、オハイオ州の操作がより便利に