本当に良い、ビッグデータ開発エンジニアになりますか?

ロシアはワールドカップ以来、ベテランのチームは頻繁に、動揺観測からの友人の円は、屋根は、友人のファンでいっぱいとなっています。

真のファンはより多くの技術の感あふれる新しいものをたくさんよりもロシアのワールドカップがわかります。例えば、フランス、オーストラリア戦では、「輝き」に副審のVARビデオは、効果的にイングランドに対するドイツの年間避ける「ドアラインの悲劇を。」

また、ロシアは、ビッグデータのサッカーの値が別の重い公認されていることを意味し、FIFAワールドカップのチームがゲーム内のデータを取得することができました。

「ビッグデータ」は単にフルサッカーの神の視点である、などの状態を調整するための解析から、戦術的な提案に選手にチームに対して、それが役割を果たすことができます。

なぜビッグデータ頻繁に熱い検索上の?

毎年恒例の法案をリフレッシュするために、ビッグデータの概念の最初の受け入れから、共有の経済から、インターネットからの都市の知恵にすべてを移動するためのペイは、歌は、反映ステップバイステップで作成されているビッグデータの値を報告しています。将来的には、インターネット、金融、通信、医療、交通、人々の生活、産業は大規模なデータ・アプリケーションに始まった、ビッグデータのシナリオは無限の可能性です。

実際の値は、ビッグデータアプリケーションです。

「ビッグデータ業界の発展計画(2016年から2020年)」、2020年に発行した産業省によると、ビッグデータ関連製品・サービス事業の売上高は1000000000000元を超えました。

もちろん、質問にも評価されるべきプライバシーの生じます。

給与ビッグデータジョブは、人為的に高くないですか?

強力な流動性と才能、適切な需要、有料ビッグデータジョブを意味し、開発のための良好な見通しは、通常の仕事よりも高くなります。それは大きな価値を作成することができますので、簡単に言えば、給料が高いです。

Amazonは、例えば、その特許を取得した「予測ロジスティクス」の物流作業は、ユーザーの注文前に開始することができます。Amazonは以前の閲覧履歴に基づいて、履歴を検索し、あなたのショッピングの行動を予測するために時間をかけても、マウス、あなたのためのお勧め商品、この点だけは、その追加的な利益の30%に10%増加します。また、ユーザーが購入購入を購入する方が喜んでいるようなので、我々は大幅に到達するために、製品の時間を短縮することができ、これらの商品は、適切な倉庫に送られた進みます。

これは、理由はあるが、企業の追求に、この実用的な、「ビッグデータの才能」のもある「だけであること。」エグゼクティブサーチ会社は、今後5年間で、企業の94%がデータサイエンティストが必要になると推定しているがあります。

 プルフックネットワークからデータ

給与のうちの、様々な才能を獲得するために、グラフからわかるように良いですが、才能のギャップ大規模なデータや実在。

「ビッグデータの才能レポート」のショーの最新リリース国のビッグデータの才能のみ46万、次の3によると - 5年、ビッグデータの才能のギャップは150万に達するだろう。

60%以上でBAT募集ジョブでビッグデータの才能を雇っている間、データに基づいて商業の中国の一般商工の専門委員会の統計的分析は、中国の基本的なデータ分析才能のギャップの将来は14万人に達するだろう。

どのようにビッグデータの才能になるには?

両方の個人的な開発や産業界の視点の観点から、ビッグデータのフィールドを入力することは良い選択です。

キーン、中国のトップホワイトキャップスチームの王チーの創設者は、「データは金なり、ビッグデータの時代。」と言いました

現在のビッグデータ処理は、主に2つのソフトウェアフレームワーク、Hadoopの火花を持っています。観点から、各企業の募集要件は、あなたがビッグデータの開発に従事したい、Hadoopのマスターやスパークが不可欠です。システムに大きなデータを勉強したい、あなたはケリをJunyang学ぶためにビッグデータ交換技術に参加することができます:522 189 307、追加を歓迎し、コースを理解します

HDFS、MapReduceの糸とを含むHadoopのビッグスリー、。HDFSは、計算に使用するデータを分散して、大量のデータを格納するHDFSは、リソース管理フレームワークは、独自の糸であるが、MapReduceは、分散コンピューティングフレームワークであり、糸にラン。

同等のMapReduceの改良版をスパーク、ライトコードの観点から、コンピューティングタスクを分散は、より簡潔であり、それは誰もがPythonは、より速く始めるのが好きサポートしています。

現在の技術動向、スパーク酔わせる、とのHadoopのいくつかのコンポーネントからは、嵐が弱まっています。その安定性のために知られている分散コンピューティングフレームワークのHadoopのMapReduce、。しかし、彼は、ディスクIO、反復的でインタラクティブなデータマイニングにおけるパフォーマンスの低下に基づくコンピューティングフレームワークです。それはされて入ってくるベースのコンピューティングフレームワークスパークメモリをMapRedecu痛みのポイントに基づいています。

あなたがビッグデータエンジニアになりたい場合は、「ホット」のシステムスパーク円を計算すると、スパーク学習が不可欠であると言うことができます。

学習する前に、いくつかの根拠を持っている必要があります:

1.より自然に覚えて使用した後、丸暗記、慣れていないと混合した基本的なコマンドのいくつかに、Linuxオペレーティングシステムを理解します。Java SEの一部の内容を理解するために、あなたがオンラインでいくつかの情報を見つけることができます、あなたはまた、いくつかの「マスターへのエントリから、」ブックを購入することができます。

スパーク、Hadoopの(HDFS、MapReduceの糸と)の正しい理解を克服することを学ぶ2。スパークは今エコシステムへと発展している必要が使用してからゆっくり勉強する際に、多くの技術があり、オフライン処理sparkcoreを理解するために、必要性を事前に、かつリアルタイムストリーミング処理火花、同様のスパークMLIBとSparkgraphxは遅くまで待つことができます。適切スパーク実際には、あなたがデータとストアデータをロードするだけでなく、HDFSに使用されるとき、迷惑な糸の基本を理解することは必要不可欠である、Clouderaの公式は、糸クラスタモードでスパークをお勧めしますので、Hadoopのは、ここで言及理解するために。

3.のpythonをご覧ください。Pythonは簡単にあなたがプログラムのスパークを開発することができ、学ぶために、スパークは、Pythonインタフェースを持っています。
----------------
 

公開された160元の記事 ウォンの賞賛2 ビュー10000 +

おすすめ

転載: blog.csdn.net/mnbvxiaoxin/article/details/104654089
おすすめ