ビッグデータ技術の原理と応用:[講演] Hadoopのビッグデータ処理アーキテクチャ

はじめに2.1のHadoop

創設者:ダグ・カッティング

 

1.はじめに:

 

無料のオープンソース。

シンプルな操作、大いに利用の複雑さを軽減。

Hadoopのは、Java開発です。

複数のプログラミング言語のためのHadoopの開発とアプリケーションのサポートでは、Javaに限定されません。

 

Hadoopの2つのコア:HDFS +のMapReduce

HDFS:大容量データ記憶

MapReduceの:大量のデータ処理

 

2.起源:

これは、Googleの検索エンジンを模倣し、元々テキスト検索ライブラリました。

;分散並列プログラミングフレームワークのMapReduce、分散ファイルシステムGFS:Googleの技術に

 

名声の3。歴史:誇り成果をソートするデータ

 

4.特徴:

1.高い信頼性

2.効率

3スケーラビリティ

4.高い耐障害性

5.低コスト

Linuxプラットフォーム上で実行6

7.種々のプログラミング言語をサポートしています

 

5.アプリケーションステータス:

たとえば、次のようにFacebookの

 

 

 

2.2のHadoopプロジェクト構造

 HDFS:分散ファイルストレージ

MapReduceのデータ処理、ディスクベース

スパーク(桁よりMapReduceのパフォーマンス):データ処理、メモリベース

ハイブ:データウェアハウス、意思決定分析、SQL文のサポート(SQL文は、MapReduceジョブに変身するために、実行に行きます)。

豚:ストリームデータ処理、軽量のデータ、SQLに似たクエリ豚ラテン語を提供します。

Oozie:ワークフロースケジューリングシステム

飼育係:分散協調サービス、分散ロック、クラスタ管理。

HBaseの:列ファミリーデータベース、ランダムアクセス

水路:ログ収集

Sqoop:HDFS、HBaseの、ハイブの相互コンダクタンスにインポートおよびエクスポートデータを、リレーショナルデータベース

Ambari:迅速な展開ツール

 

2.3のHadoopのインストールと使用

1.Linuxオプション:

Ubuntuの:Linuxのバージョンを選択します

メモリオプション:コンピュータを見てください。4G以上のメモリ、64を選択します

2.システムは、仮想マシンまたはデュアルシステムをインストールされています:

コンピュータの構成を参照してください。

比較的新しいコンピュータは、仮想マシンをインストールします

Linuxの基礎知識については3

1.Shell:コマンドパーサ

2.sudoコマンド:権利管理機構、管理者は、いくつかの操作を実行するためにroot権限が必要実行するために普通のユーザーを認可することができます

3.パスワードを入力します:あなたが入力したパスワードを見ることができません

4.英語のスイッチの入力方法:「シフト」キー

接着剤5.Ubuntu端末割当ショートカット:CTRL +シフト+ V

4.インストール:

单机模式,伪分布式模式,分布式模式

 

5.创建虚拟机:

1.材料与工具:虚拟机软件与系统映像文件

 2.确认系统版本:

 

2.4 Hadoop集群的部署与使用

考虑HDFS和MapReduce

 

(后补)

 

慕课链接:https://www.icourse163.org/learn/XMU-1002335004?tid=1003965001#/learn/content

おすすめ

転載: www.cnblogs.com/musecho/p/10991177.html