ビッグデータに基づく学習
ビッグデータの基本
なぜビッグデータ学習
1.目的:良い(お金を)まで動作するように
2、コントラスト:Java開発や大規模データの開発
ビッグデータとは何ですか?
例えば:
1、製品の推奨:質問:
(1)どのように大規模な受注の数が格納されていますか?
(2)受注の多数はどのように計算しますか?
2、天気予報:質問:
(1)気象、大量のデータを格納する方法?
(2)気象大量のデータをどのように計算するには?
あなたは良い学習環境に追加最高のビッグデータを学びたいのであれば、これはQグループ251956502ので、誰もが学ぶことは比較的容易になることであってもよいが、通信し、共通の情報を共有します
ビッグデータ、自然とは何ですか?
(1)データが格納されている:分散ファイルシステム(分散型ストレージ)
コンピューティング(2)データ:分散コンピューティング
Javaおよびビッグデータの関係は何ですか?
1、Hadoopの:Java言語の開発に基づいて、
2、スパーク:Scalaのベースの言語、ScalaのをJava言語に基づいて、
ビッグデータとルートの基本的なニーズを学びます
1、ビッグデータの基本的な学習ニーズ:
(のJava SE)ベースのJava - >クラス、継承、I / O、反射、ジェネリック*****
Linuxの基礎(Linuxが動作して) - >ファイル、ディレクトリ、viエディタを作成します***
2、学習ルート:
(1)JavaおよびLinuxの基礎基本
(2)のHadoop研究:建築、理論、プログラミング
(*)第一段階:HDFS、MapReduceの、HBaseの(のNoSQLデータベース)
(*)は、第2段階:データ解析エンジン - >ハイブ、豚
データ収集エンジン - > Sqoop、水路
(*)フェーズIII:HUE:Web管理ツール
ZooKeeperの:HadoopののHA実現
Oozie:ワークフローエンジン
(3)スパーク学習
(*)第一段階:Scalaのプログラミング言語
(*)は、第2段階:スパークコア----->ベースのメモリ、演算データ
(*)第三段階:OracleのSQL文で同様のスパークSQL ----->
(*)第四段階:Streaming-スパーク>
浄水場:リアルタイムで計算など(計算ストリーミング)
(4)Apacheの嵐:同様のスパークストリーミング - >リアルタイム(計算ストリーミング)で算出された:例えば:上水道
(*)のNoSQL:Redisのメモリベースのデータベース