ビッグデータシリーズ(8)Hadoop Ecologyの概要

エコスフィアここに画像の説明を挿入

HBaseの概要

  • 高信頼性、高性能、列指向、スケーラブル、リアルタイムの読み取り/書き込み分散データベース
  • ファイルストレージシステムとしてHDFSを使用し、データを読み取るためのMRプログラムをサポート
  • 非構造化および半構造化データを保存する

RowKey:辞書でソートされた一意のデータ識別
列ファミリー:列ファミリー、複数列のコレクション、最大3つ
**タイムスタンプタイムスタンプ:**複数バージョンのデータが同時にサポートされます
ここに画像の説明を挿入

スパーク

  • メモリに基づくビッグデータ並列計算フレームワーク
  • SparkはMapReduceに代わるものであり、HDFS、HIVEおよびその他のデータソースと互換性があります。
  • 抽象分散メモリストレージデータ構造、エラスティック分散データセットRDD
  • イベント駆動に基づいて、スレッドプール内のスレッドを再利用することにより、パフォーマンスを向上させます。
元の記事を35件公開 3を獲得 3300を表示

おすすめ

転載: blog.csdn.net/qq_43430261/article/details/105545115