元のアドレスします。https：//blog.51cto.com/12306609/2095719
ビッグデータは、データ処理の伝統的な手段であってもPBまたはEB-レベルデータは、実行できない、データ処理の量は、典型的には、TBレベルであり、処理手段の一連の大容量データ記憶装置、コンピューティング、統計、分析および処理であります分散コンピューティング、高並行性、高可用性の処理、クラスタリング、リアルタイムの計算、IT技術の現在の人気の人気のIT分野のコレクションを伴う技術が存在します。
ビッグデータを習得することを学ぶにしたいことは以下の技術を必要とします：
1.のJava プログラミング技術
Javaプログラミング技術は、学習のための大規模なデータの基礎となっている、Javaは強く型付けされた言語であり、高いクロスプラットフォーム機能と、あなたはデスクトップアプリケーション、Webアプリケーション、分散システムや組み込みシステムのアプリケーションを作成することができ、ビッグデータでありますエンジニアの好きなプログラミングツール、あなたは、Javaの基本を習得することを学ぶにしたいので、大規模なデータが不可欠です！
2.Linuxのコマンド
大規模データの開発は通常、Linuxオペレーティングシステムに比べて、Linux環境で行われているために、Windowsオペレーティングシステムが閉じたオペレーティングシステムである、オープンソースのビッグデータソフトウェアは、それゆえ、非常に限られている、大規模データの開発関連の仕事に従事したい、習得する必要性Linuxの基本操作コマンド。
3. Hadoopの
Hadoopのビッグデータは、そのコアHDFSとMapReduceの開発のための重要なフレームワークであり、HDFSは、膨大な量のデータのためのストレージを提供し、MapReduceの計算のために膨大な量のデータを提供し、それゆえ、また、我々はHadoopクラスタを持っている必要があり、加えて、把握することが重要です、Hadoopクラスタの管理、YARNのHadoopおよび上級管理職およびその他の関連技術と運用！
4.ハイブ
ハイブは、Hadoopのデータウェアハウスのツールに基づいて、データベース・テーブルにデータファイルの構造をマップし、SQL文はMapReduceのタスクを実行するように変換することができ、単純なSQLクエリを、提供することができ、データウェアハウスの統計分析は非常に適しています。ハイブの、インストール、アプリケーションやシニアの操作を習得する必要があります。
5.アブロ与いるProtobuf
アブロおよびいるProtobufがデータ構造タイプを豊富に提供することができ、データのシリアル化システムであり、データ格納用だけでなく、異なる言語交換フォーマット、大規模な研究データ、具体的な使用方法を習得する必要のある、互いの間のデータ通信に非常に適しています。
6.ZooKeeper
ZooKeeperのは、HadoopのとHBaseの重要な構成要素である分散アプリケーションのための一貫したサービスを提供することで、機能が含ま提供：ZooKeeperのを習得するために大規模なデータ開発の設定、保守、ドメイン・ネーム・サービス、分散型の同期、組立サービス、実装は、一般的に、コマンドや関数を使用していました。
7. HBaseの
HBaseのは、分散型、オープンカラム指向データベースであり、それは、リレーショナル・データベースとは異なる、非構造化データ記憶のためのより適切なデータベース、高信頼性、高性能、列指向、分散ストレージスケーラブルでありますこのシステムは、大規模なデータ開発のHBaseはそうで基礎、アプリケーション、アーキテクチャ、および高度な使用法を習得し、する必要があります。
8.phoenix
フェニックスは動的な列、ハッシュ負荷、クエリサーバー、追跡、トランザクション、ユーザー定義関数、セカンダリインデックス、名前空間マッピング、データ収集、タイムラインを持っているHBaseのJDBC APIのSQLエンジンを操作するJavaベースのオープンソースで書かれていますタイムスタンプ列、ページネーションクエリ、クエリ、ビュー、およびマルチテナント特性をジャンプし、大きなデータ開発は、使用の原理と方法を習得する必要があります。
9. Redisの
Redisのは、このようなmemcachedのキー/値ストアの不足を補う大きく表示され、キーと値のストレージ・システムであり、あなたには、いくつかの状況では、リレーショナルデータベースに非常に良い補数を再生することができ、それは、Java、C / C ++を提供し、 C＃の、PHPやJavaScript、Perlやオブジェクト-C、Pythonの、ルビー、アーランと他のクライアント、非常に使いやすい、開発者は、ビッグデータのRedisのインストール、設定、および使用に関連する方法を習得する必要があります。
10.水路
水路は、可用性の高い信頼性が高く、データを収集するためのカスタマイズされたデータフリュームセンダログシステムの様々なタイプをサポートするために、膨大なログ収集、凝集および伝送システムを分散、一方、水路は、単純なデータ処理を提供およびデータ受信者の多様への書き込み機能（カスタマイズ可能）があります。ビッグデータの開発、インストール、設定、および使用に関連する方法を習得する必要があります。
11. SSM
SSMは、多くの場合、単純なソースデータフレームのWebプロジェクトとして、3つのオープンソース・フレームワークからフレーム春、SpringMVC、MyBatisので統合されています。ビッグデータの開発業務を統合するためにSSMを使用し、その後、同時に春、SpringMVC、MyBatisの3つのフレームワークを習得する必要があります。
12.Kafka
カフカは、ビッグデータの開発と応用を目指し、分散パブリッシュ・サブスクライブ・メッセージング・システムの高スループットは、リアルタイムメッセージングを提供するために、パラレルローディング機構Hadoopを経由するだけでなく、クラスタを通じて、オンラインとオフラインのユニファイドメッセージングになっています。ビッグデータ開発カフカのアーキテクチャと使用と関連する関数のアクションとメソッドの原則のさまざまなコンポーネントを達成するために習得する必要があります！
13.Scala
Scalaはマルチパラダイムプログラミング言語で、ビッグデータのスパークは、Scalaの言語設計を使用することで、Scalaの基礎とスパークフレームワークを学びたいの発展のために重要なフレームワークが不可欠であり、そのため、ビッグデータ開発のScalaプログラミングの基礎を習得する必要があります！
14.Spark
スパークは、大規模なデータ開発ニーズは、データセットと大型データ処理のデータソースの異なる種類の様々なニーズを管理するための包括的で統一されたフレームワークを提供し、高速汎用コンピューティングエンジンのために設計された大規模なデータ処理のために設計されていますスパークマスター基礎、SparkJobは、RDD、火花ジョブの展開と資源配分、スパークシャッフル、メモリ管理、スパーク放送変数をスパーク、スパークSQL、スパークストリーミングおよびMLおよびその他の関連知識をスパークスパーク。
15.Azkaban
アズカバンは、バッチのワークフロータスクスケジューラであるワークフローの特定の順序に動作し、プロセスのセットを実行するために使用することができ、データのスケジューリングを達成するためにアズカバンを利用することができ、マスター構成アズカバンを開発するために必要な大規模なデータと文法規則。
16.Python とデータ分析
Pythonは簡単な使用して、豊富なライブラリとオブジェクト指向プログラミング言語で、広く使われている、また、主にデータ収集、データ分析、およびデータ可視化のために、大規模なデータ領域で使用されているので、ビッグデータの開発は、いくつかのPythonを学ぶ必要があります知識。