ビッグデータの学習プロセス

1.java関係とビッグデータ:
1.hadoop:Javaベースの開発言語
2.Spark:Scalaのベースの言語、Scalaの言語のJavaベースの言語の
学習は2つの大きなデータベースとルートを必要とします
。1.大規模なデータの基本的なニーズを学習:
のJavaベース(するJavaSE)----「クラス、継承、多型、I / O、反射、ジェネリック。
Linuxの(Linuxオペレーティング)-----「ファイルを作成するには、ディレクトリ、VIエディタを使用
するJava Linux Foundationのと基礎2(1)
(2)研究のHadoopの:アーキテクチャ、理論、プログラミング
()第一段階: HDFS(分散ファイルシステム(ストレージ))のMapReduce(計算)、HBaseの:最も包括的なセキュリティの一つは、データベース製品のNoSQLデータベースの特徴とされる:
非リレーショナルデータベースを指し、それは大規模なデータ収集とデータの多様性を解決することです型によって引き起こされる問題、特に大規模なデータアプリケーションの問題)
()
第二段階:データ解析エンジン:ハイブ、ブタ
データ収集エンジン:Sqoop、水路
()フェーズIII:HUE:ウェブ管理ツール
のZooKeeper:HAのHadoopの実現
oozie:ワークフローエンジン
(3)スパーク学習
()
第一段階:Scalaのプログラミング言語
()第二段階:スパークコア(ベースメモリ、演算データ)
)第三段階:SQL言語でOracleと同様スパークSQL()
()第四段階:水道):スパークストリーミング(リアルタイム計算は、計算の流れ
(4)はApacheストーム:ストリーミング同様のスパーク(リアルタイムシステム、計算の流れ:水道)
()
のNoSQL:Redisの(ベースのデータベースメモリ):次のようなデータベースのサイズと予測可能なアプリケーションプログラムで高速なデータ変更のための
株価、データ分析、リアルタイム通信、リアルタイムのデータ収集

公開された37元の記事 ウォン称賛31 ビュー10000 +

おすすめ

転載: blog.csdn.net/qq_43668119/article/details/104237863