どのようなスキルビッグデータエンジニアになるために必要とされていますか?

2008年、ビクター・マイヤー - 「ビッグデータ」という言葉は馴染みの名前になってきたように、シェーンベルクに書かれた「ビッグデータの時代」には、誰もが、ビッグデータについて、それぞれの技術を話している、科学技術の新しい章を開きます企業はまた、ビッグデータ技術を導入しています。だから、最終的にビッグデータとは何でしょうか?

大規模なデータ(ビッグデータ)は、より多くの意思決定力、洞察力とプロセス最適化機能を取得するための新たな治療モデルの必要性がある、キャプチャ、管理および特定の時間枠内で、従来のソフトウェアツールで処理できないデータの収集を指し大規模な、高い成長率と多様な情報資産。

では、「ビッグデータの時代、」ビクターにランダム分析(サンプリング)なしのショートカットが、ビッグデータ分析に新しい概念を処理するすべてのデータの分析を提案しました。後、IBMはまた、ビッグデータの5V特性を作りました:

  • ボリューム(ロット)

  • 速度(高速)

  • バラエティ(多様な)

  • 値(安いです)

  • 信憑性(信頼性)

だから、おそらくやや抽象的、例えば、毎日、私たちはデータを残して、すべての指の場所を越え、見出しを参照してください、ウェブ、オンラインショッピング、持ち帰りポイント、ブラシビブラート、追跡劇のネットワークを参照します。これらのデータ混沌の複雑な、しかしように、購入するあなたの行動、傾向を示唆した情報の購買力と。、隠された関連付けを見つけるビジネスユーザーの正確な画像を形成するために有用な情報を掘るためにどのように、それはこれに基づいて非常に重要なステップ、導出アルゴリズム技術であり、我々は多くの場合、データ収集などのビッグデータ技術を、と呼ばれています、分析、マイニング、デリバティブなど。

93d13afde182401b9ae044ef9d61e028


突然、ビッグデータテクノロジーは、10年を経ている、熱は衰えることなく続けており、人工知能の強力な組み合わせで、今ある、第四産業革命の新しい波をオフに設定します。ビッグデータ技術が成熟した後、我々はビッグデータが何であるかを最後に、見に戻ってきますか?

ビッグデータは、データ中心の産業で、大規模なデータのライフサイクルの周りでは、生産工程のサイクルが、また、労働力と産業の多様起因する産業界との連携度の高い複雑な分裂を続けます。

データ収集、データストレージ、データモデリング、データ解析、データキャッシュ:データ転送とライフサイクルの進化から、生産プロセス、大規模なデータは、次のセクションに分けることができます。

大数据有多重要?吴军在《智能时代:大数据与智能革命重新定义未来》一书中提到:“在这个大数据时代,谁从冗杂的大数据中摸清了蕴藏其下的规律,谁就掌握了财富。”这是对大数据价值的高度概括,也是对未来大数据应用的极目前瞻。

93d13afde182401b9ae044ef9d61e028


随着对大数据技术的了解和应用,我们开始通过各种软件收集数据,通过网络进行传输,通过云数据中心进行存储,通过数据科学家或者行业专家进行建模和加工,最后通过数据分析得到某种知识或者结论,获得了一种通过数据洞悉世界的能力。

于是,原本错综复杂的数据之间的潜在关系渐渐清晰,大量孤立、多源数据交织融合后显得更为有趣,大量看似无关的事情在经过分析后呈现出更多的因果,这些因果联系能够让我们在更多方面推测未来趋势,减少试错机会,降低成本和风险,从而提高劳动生产力。这是大数据技术带给我们最根本的价值和意义。

ca180534-425e-41ec-94d5-eb2cda4f8969


已经为大家精心准备了大数据的系统学习资料,从Linux-Hadoop-spark-......,需要的小伙伴可以点击进入

我们经常会发现,在网上购物时,电商推荐的商品往往是我们非常感兴趣的,仿佛电商比我们自己更了解自己。浏览新闻时,首页内容也往往会是自己比较倾向于阅读的,每个人似乎都拥有了为自己量身打造的头条。出现这些“神奇”现象的原因,都是这些App记住了我们的浏览历史,它们根据这些信息了解我们的偏好,为我们推荐最匹配的内容。

184fe474d43b43a3b0d1b9b08b63ba5a


了解了大数据技术的原理,我们再来看看成为一名大数据工程师究竟需要哪些技能。一般而言,大数据技术包括三个方向,大数据架构、大数据分析和大数据开发。

ビッグデータアーキテクチャは、実装の原則のHadoop、スパーク、嵐や他の大規模なデータフレームワーク、導入、チューニングや安定性の問題に焦点を当て、彼らは水路、カフカやスキルを組み合わせた他のトラフィックのツールと視覚化ツールをどのように関連するか、そして、ツールの数がありますこのようようにハイブ、カサンドラ、HBaseの、PrestoDBやなどの商用アプリケーションの問題、。ビッグデータの才能ターゲットアーキテクチャで安定したサービスを提供する、ソフトウェア/ハードウェアのリソース使用率を最大化するために、技術的な観点弁証法組み合わせによって行わ。ビッグデータ・アーキテクトは、コンテンツアーキテクチャ論、データ・ストリーミング・アプリケーション、ストレージアプリケーション、ソフトウェアアプリケーションおよび可視化アプリケーションに焦点を当てています。

ビッグデータ分析は、データ指標の確立、統計、データ及び深度データマイニングや機械学習の間のリンク、およびより多くの利用パターン法探索的データ分析を取得し、知識、または、将来を獲得することが懸念されます物事と事前判断を予測する能力。主なデータベースアプリケーション、データ処理、データ解析、統計データやビッグデータ分析。

大きなデータ開発は、開発サーバー、データベース開発、およびビジュアルプレゼンテーション、およびその他のインタラクティブデータアダプタを当該各搬送ユニット、ユーザのデータ処理は、最終的には床を機能します。メインビッグデータの開発データベース開発、データ・フロー・ツールの開発、データのフロントエンド開発、データ収集の開発。

6aa49664eac648038696b69bdc984d81


PS:あなたがビッグデータエンジニアになりたい場合は、今すぐこれらの方向に移動させたいです!

我々は、LinuxベースのHadoopの-スパーク-......からの情報データの系統的な研究のために慎重に準備を持って少し友人を必要と入力する]をクリックすることができます

おすすめ

転載: blog.51cto.com/14463768/2422681