すごい!誰かがついにHadoop + Spark + HBase + Netty +分散を理解しました

1. Hadoopの戦闘

Hadoopは、Apache Software Foundationに基づくオープンソースの分散コンピューティングプラットフォームです。Hadoop分散ファイルシステム(HDFS、Hadoop分散ファイルシステム)とMapReduce(Google MapReduceのオープンソース実装)をコアとして、Hadoopはユーザーにシステムの透過的で低レベルの分散インフラストラクチャを提供します。HDFSの高いフォールトトレランスと高いスケーラビリティにより、ユーザーは安価なハードウェアにHadoopをデプロイして分散システムを形成できます。

MapReduce分散プログラミングモデルを使用すると、分散システムの基本的な詳細を理解せずに並列アプリケーションを開発できます。したがって、ユーザーはHadoopを使用してコンピューターリソースを簡単に整理し、独自の分散コンピューティングプラットフォームを構築できます。また、クラスターのコンピューティング機能とストレージ機能を最大限に活用して、大量のデータの処理を完了することができます。

この本は、体系的で実用的なHadoopツールブックおよびリファレンスブックです。コンテンツは包括的で、Hadoopの技術システム全体が包括的に説明されています。HDFSとMapReduceの2つのコアコンテンツだけでなく、Hive、HBase、Mahout、Pig、ZooKeeper、Avro、ChukwaなどのHadoop関連のサブプロジェクトのコンテンツも含まれます。 。強力な実用性、知識ポイントごとに多数のクラシックな小さなケースを慎重に設計し、理解しやすく、強力な操作性。

ディレクトリ

  • Haoopの概要
  • Hadoopのインストールと構成
  • Haoopアプリケーションのケース分析
  • MapReduceコンピューティングモデル
  • MapReduceアプリケーションの開発
  • MapRe duceアプリケーションケース
  • MapRe duce。動作メカニズム
  • Hadoop I / 0オペレーション
  • HDFSの説明
  • Hadoop管理
  • ハイブの詳細
  • 詳細なHBase
  • Mahoutの詳細
  • 豚の詳細
  • Zooeeperの詳細
  • アブロの説明
  • Chulkvの詳細な説明
  • 共通プラグインとHadoopの開発

すごい! 誰かがついにHadoop + Spark + HBase + Netty +分散を理解しました

 

すごい! 誰かがついにHadoop + Spark + HBase + Netty +分散を理解しました

 

第二に、Sparkビッグデータ分析戦闘

Sparkビッグデータテクノロジーはまだ本格的に開発されています。SparkChinaサミットが開催され、各地でミートアップが開催されます。オープンソースソフトウェアSparkも成長しています。多くの企業がすでにSparkを大規模に実装して適用しています。Sparkユーザーのニーズは、最初の展開とインストール、サンプルの実行からであり、Sparkを介して豊富なデータ分析アプリケーションを構築する必要性が高まっています。Sparkの実用的なケースに関する技術的な本を書くことは、長い間続いたアイデアです。比較的タイトな作業のため、最初は参加または調査したSpark関連のケースのみを要約しましたが、今後も一般的なアルゴリズム、システムアーキテクチャ、およびアプリケーションシナリオを抽象化し、適切に簡略化するつもりです。要約と共有。

ディレクトリ

  • Sparkの概要
  • Spark開発および環境構成プログラム
  • BDASの概要
  • ラムダアーキテクチャログ分析パイプライン
  • クラウドプラットフォームとユーザーログに基づく推奨システム
  • Twitter感情分析
  • ホットニュース分析システム
  • 分散型協調フィルタリング推奨システムの構築
  • Sparlに基づくソーシャルネットワークの分析
  • Sparkに基づく大規模なニューストピック分析
  • 分散検索エンジンを構築する

すごい! 誰かがついにHadoop + Spark + HBase + Netty +分散を理解しました

 

すごい! 誰かがついにHadoop + Spark + HBase + Netty +分散を理解しました

 

3、Hbase

HBaseは一種のNoSQLストレージシステムであり、大規模なデータを迅速かつランダムに読み書きするように特別に設計されています。HBaseは通常の商用サーバーで実行され、中規模から数十億行、数百万列までのデータセットをサポートするようにスムーズに拡張できます。

この本は、経験に基づいたガイドであり、HBaseを使用してビッグデータアプリケーションシステムを設計、構築、実行する方法を読者に教えています。本は4部に分かれています。最初の2つのパートでは、分散システムと大規模なデータ処理の開発履歴を紹介し、HBaseモード設計の基本原理とHBaseの高度な機能の使用方法を説明します。3番目のパートでは、実際のアプリケーションとコード例を通して、これらの実践的なスキルをサポートします理論的な知識は、HBaseのいくつかの実用的なテクノロジーをさらに探求します。第4部では、プロトタイプ開発システムをふくよかな生産システムにアップグレードする方法を説明します。

ディレクトリ

HBaseの基本の最初の部分

  1. HBaseの紹介
  2. はじめに
  3. 分散ベース、HDFS、MapReduce

パート2高度な概念

  1. HBaseテーブルの設計
  2. コプロセッサーでiBaseを拡張する
  3. その他のHBaseクライアントオプション

パートIIIアプリケーションシステムの例

  1. 例でHBaseを学ぶ:OpenTSDB
  2. HBaseで地理情報システムを照会する

パート4 HBaseを実行する

  1. IBaseをデプロイする
  2. O&M

すごい! 誰かがついにHadoop + Spark + HBase + Netty +分散を理解しました

 

すごい! 誰かがついにHadoop + Spark + HBase + Netty +分散を理解しました

 

4.分散サービスアーキテクチャの原理、設計、および実際の戦闘

この本では、現在普及している分散サービスアーキテクチャをメインラインとして取り上げ、分散サービスアーキテクチャの原理、設計、および実践について説明しています。

この本では、最初に分散サービスアーキテクチャの背景と進化を紹介し、次に、分散サービスの一貫性、高性能、高可用性を保証する設計のアイデアと実装可能なソ​​リューションについて詳しく説明します。オンラインサービスの緊急プロセスと技術的な画期的なプロセスを同時に実行し、問題を見つけて特定するための効果的で一般的なツールセットを提供します。最後に、コンテナー化されたプロセス分析、アジャイル開発、および分散サービスアーキテクチャのオンラインツールを詳細に紹介します。高度な並行サービスアーキテクチャを持つ開発者は、利便性を提供

ディレクトリ

  • 分散マイクロサービスアーキテクチャの設計原則
  • 分散システムの整合性の問題を完全に解決します
  • サービスシステムの容量評価とパフォーマンス保証
  • ビッグデータログシステムの構築
  • コールチェーンに基づくサービス管理システムの設計と実装
  • Javaサービスのオンライン緊急および技術調査
  • サービスのコンテナ化プロセス
  • アジャイル開発2.自動化ツール

すごい! 誰かがついにHadoop + Spark + HBase + Netty +分散を理解しました

 

すごい! 誰かがついにHadoop + Spark + HBase + Netty +分散を理解しました

 

5、Netty実際の戦闘原理

Nettyは、高性能ネットワークアプリケーションを迅速に開発するためのJavaフレームワークです。ネットワークプログラミングの複雑さをカプセル化するため、ネットワークプログラミングとWebテクノロジーの最新の進歩に、以前よりも幅広い開発者が触れることができます。Nettyは、単なるインターフェイスとクラスのコレクションではなく、アーキテクチャモデルと豊富なデザインパターンのセットも定義します。しかし、これまでのところ、包括的で体系的なユーザーガイドが欠けているため、Nettyの使用を開始する際の障害となっており、この状況もこの本を変更することを目的としています。フレームワークのコンポーネントとAPIの詳細を説明することに加えて、この本は、Nettyが開発者がより効率的で再利用可能で保守可能なコードを書くのをどのように支援できるかも示します。

ディレクトリ

Nettyのコンセプトとアーキテクチャの最初の部分

  1. Netty-非同期でイベント駆動型
  2. 初めてのHettyアプリ
  3. Nettyのコンポーネントと設計
  4. トランスミッション
  5. ByteBuf
  6. ChannelHandlerとChannelPipeline
  7. EventLoopとスレッドモデル
  8. 案内
  9. 単体テスト

パート2コーデック

  1. コーデックフレームワーク
  2. プリセットChannelHandlerおよびコーデック

パート3ネットワークプロトコル

  1. WebSocket
  2. VDPを使用してイベントをブロードキャストする

パートIVケーススタディ

  1. ケーススタディ、パート1
  2. ケーススタディ、パート2

すごい! 誰かがついにHadoop + Spark + HBase + Netty +分散を理解しました

 

すごい! 誰かがついにHadoop + Spark + HBase + Netty +分散を理解しました

 

これらのインターネット業界は非常に人気があり、人気のあるPDFエディターがすべての人のために整理しています。高評価、転送、転送エディターを受信する必要がある友達は、この記事を書くことができます。

238の元の記事を公開 68のような 30,000以上の訪問

おすすめ

転載: blog.csdn.net/qq_45401061/article/details/105409119