はじめに2.1のHadoop
創設者:ダグ・カッティング
1.はじめに:
無料のオープンソース。
シンプルな操作、大いに利用の複雑さを軽減。
Hadoopのは、Java開発です。
複数のプログラミング言語のためのHadoopの開発とアプリケーションのサポートでは、Javaに限定されません。
Hadoopの2つのコア:HDFS +のMapReduce
HDFS:大容量データ記憶
MapReduceの:大量のデータ処理
2.起源:
これは、Googleの検索エンジンを模倣し、元々テキスト検索ライブラリました。
;分散並列プログラミングフレームワークのMapReduce、分散ファイルシステムGFS:Googleの技術に
名声の3。歴史:誇り成果をソートするデータ
4.特徴:
1.高い信頼性
2.効率
3スケーラビリティ
4.高い耐障害性
5.低コスト
Linuxプラットフォーム上で実行6
7.種々のプログラミング言語をサポートしています
5.アプリケーションステータス:
たとえば、次のようにFacebookの
2.2のHadoopプロジェクト構造
HDFS:分散ファイルストレージ
MapReduceのデータ処理、ディスクベース
スパーク(桁よりMapReduceのパフォーマンス):データ処理、メモリベース
ハイブ:データウェアハウス、意思決定分析、SQL文のサポート(SQL文は、MapReduceジョブに変身するために、実行に行きます)。
豚:ストリームデータ処理、軽量のデータ、SQLに似たクエリ豚ラテン語を提供します。
Oozie:ワークフロースケジューリングシステム
飼育係:分散協調サービス、分散ロック、クラスタ管理。
HBaseの:列ファミリーデータベース、ランダムアクセス
水路:ログ収集
Sqoop:HDFS、HBaseの、ハイブの相互コンダクタンスにインポートおよびエクスポートデータを、リレーショナルデータベース
Ambari:迅速な展開ツール
2.3のHadoopのインストールと使用
1.Linuxオプション:
Ubuntuの:Linuxのバージョンを選択します
メモリオプション:コンピュータを見てください。4G以上のメモリ、64を選択します
2.システムは、仮想マシンまたはデュアルシステムをインストールされています:
コンピュータの構成を参照してください。
比較的新しいコンピュータは、仮想マシンをインストールします
Linuxの基礎知識については3
1.Shell:コマンドパーサ
2.sudoコマンド:権利管理機構、管理者は、いくつかの操作を実行するためにroot権限が必要実行するために普通のユーザーを認可することができます
3.パスワードを入力します:あなたが入力したパスワードを見ることができません
4.英語のスイッチの入力方法:「シフト」キー
接着剤5.Ubuntu端末割当ショートカット:CTRL +シフト+ V
4.インストール:
单机模式,伪分布式模式,分布式模式
5.创建虚拟机:
1.材料与工具:虚拟机软件与系统映像文件
2.确认系统版本:
2.4 Hadoop集群的部署与使用
考虑HDFS和MapReduce
(后补)
慕课链接:https://www.icourse163.org/learn/XMU-1002335004?tid=1003965001#/learn/content