プログラマは、あなたが10個のスキルを習得しなければならない、ビッグデータに従事したいです!

世界中から毎日新しいプロジェクトを記述するために湧き、ビッグデータに関連する特に、強調しすぎることはできません。サポートとしてワン移動し、これ以上の技術、プログラマがああ慎重のペースに追いつくことができません。ここにあなたの肖像画を整理するために、10先史時代のオープンソースのビッグデータ技術をカウントするためにです!

1.Apacheビーム

ApacheBeamはJavaで開発された統合データパイプライン処理を提供し、スパークとFLINKをサポートすることができます。また、フレームワークを学ぶ時間とエネルギーの開発者の多くを保存し、オンラインのフレームワークの多くを提供します。



インターネット技術の開発ブーム、人工知能の時代には、次のコンセントをつかみました。学びたい、インターネットの方向を切り替えたいが、理由は時間の不足、リソース不足の人々を支援し、放棄します。私は新しいビッグデータと高度なデータAdvancedデベロップメントガイド、ビッグデータ学習グループを仕上げています:プラス199プラス210 [427]最後に、組織的学習は、高度な歓迎で見つかったとビッグデータの小さな掘り下げたいことができますパートナーが参加します。

640?wx_fmt =その他&TP = WEBP&wxfrom = 5&wx_lazy = 1&wx_co = 1

2.Apache Hive2.1

ハイブは、Hadoopのデータ・ウェアハウス・インフラストラクチャに基づいています。ApacheHive性能と機能が強化されているリリースの最新バージョンでは、それはビッグデータのSQLに最適なソリューションとなっています。これは、データ抽出変換ローディング(ETL)のために使用することができるツールの範囲を提供する - これは、店、クエリとのHadoopに格納されている大規模なデータのメカニズムを分析します。

3.Hadoop

必要な糸を提供することができ、効率的、信頼性、拡張性のHadoop--、HDFSし、データストレージのためのインフラ・プロジェクト、および大規模なプライマリデータサービスとアプリケーションを実行しています。

640?wx_fmt =その他&TP = WEBP&wxfrom = 5&wx_lazy = 1&wx_co = 1

4.Kafka

カフカは、すべてのアクションのストリーミングデータコンシューマ規模のウェブサイトを扱うことができる分散型パブリッシュ・サブスクライブ・メッセージング・システムの高スループットです。Javaのスカラに、カフカは強力な接着力を提供し、サードパーティ製のプラグインツールへ、その後NiFiにスパークしてから、大規模なデータシステムのための最良の選択肢となっていると非同期メッセージの間に分布します。

5.NiFi

堪称大数据工具箱里的瑞士×××的ApacheNiFi,是由美国国家安全局(NSA)贡献给Apache基金会的开源项目,其设计目标是自动化系统间的数据流。其中,它的两个最重要的特性是强大的用户界面,以及良好的数据回溯工具。基于其工作流式的编程理念,NiFi非常易于使用,而且强大、可靠、高可配置。

6.Phoenix

作为HBase的SQL驱动,Phoenix目前被大量的公司采用,它正在逐渐扩大规模。HDFS支持的NoSQL能够很好地集成所有工具,Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan,并编排执行以生成标准的JDBC结果集。

640?wx_fmt =その他&TP = WEBP&wxfrom = 5&wx_lazy = 1&wx_co = 1

7.Spark

Spark使用简单,而且可以支持所有重要的大数据语言,如Scala、Python、Java、R等。同时,它还拥有强大的生态系统,且成长迅速,对microbatching/batching/SQL的支持也很简单。最重要的是,Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

8.Sparkling Water

H2O填补了Spark’sMachineLearning的缺口,SparklingWater可以满足你所有的机器学习。

9.Stanford Core NLP

自然语言处理拥有巨大的增长空间,斯坦福正在努力增进他们的框架,StanfordCoreNLP横空出世。

10.Zeppelin

Zeppelin是一个提供交互数据分析且基于Web的笔记本,方便用户做出可数据驱动的、可交互且可协作的精美文档。同时,它还支持多种语言,包括Scala(使用ApacheSpark)、Python(ApacheSpark)、SparkSQL、Hive、Markdown、Shell,等等。

在科技圈都知道,作为当今最热门的技术之一的大数据,正呈爆炸式增长。幸运的是,开源让越来越多的项目可以直接采用大数据技术,这也为程序员提供了多一条出路。


ビッグデータの今後の見通しは、人々のラインが非常に多く、期待することができ、そしてどのように高速移行を完了するために、ビッグデータのフィールドを入力してどのように迅速に、私たちは深い思考に白だった人に遷移する必要があります。



あります学習のための白色点は、あなたがビッグデータ業界を入力することを選択したので、ビッグデータの多くが、いずれにせよ、それが唯一の苦労と苦難になることに留意すべきです。いわゆる初心者の心を忘れない、常に広場、ビッグデータまたはあなたがそれを最も必要とする永続的な心を学んでいました。


おすすめ

転載: blog.51cto.com/13854477/2406329