Ma TieDashenによるApacheSparkの10年間のレビュー
過去のメモリビッグデータ過去のメモリビッグデータ
まず第一に、私はあなたにすべての幸せなドラゴンボートフェスティバル、幸せと健康を願っています。
先週の金曜日に、Apache Spark 3.0が新しくリリースされました。このバージョンには、多くの重要な機能が含まれています。興味のある学生は、この記事を読むことができます。ApacheSpark3.0.0の公式バージョンが、重要な機能の包括的な分析とともについにリリースされました。
Sparkは2010年に正式にオープンソース化され、今年からちょうど10年になります。
毎年恒例のSpark + AISUMMITが今週本格的に開催されます。ApacheSparkの発明者であるMaTie Dashenが、Apache Spark 3.0の紹介をします。過去10年間のSparkを振り返り、将来を楽しみにしています。
偉大なる神は、過去10年間に情熱を持って自分の状況を最初に見直し、Sparkを発明する目的を紹介し、その後数年間でSparkを開発しました。
Apache Sparkはおそらく2009年8月から開発
され
ました。Sparkは2010年に正式にオープンソース化されました。2010年から2011年にかけて多くのユーザーが使用し始め、予期しないケースが多数発生しました。
2012年から2015年にかけて、コミュニティはSparkに多くの拡張機能を追加し、Python、R、SQLを言語サポートに追加し、ML、グラフ、リアルタイムストリーム処理関数をクラスライブラリに追加し、多くの高レベルAPIを追加しました。
現在、Digital Bricks製品のノートブックコマンドの68％はPythonで記述されています。
Spark APIの90％以上はSpark SQLを呼び出すことによって実行されるため、最も重要なことは最終的にSpark SQLを取得することであり、その基盤となるオプティマイザーがほとんどのジョブを最適化します。最近リリースされたSpark3.0のTPC-DSテストパフォーマンスは、Spark 2.4の約2倍高速であり、Prestoよりもさらに高速です。
いくつかのブリック製品は、毎日5兆個のデータを処理します。
過去数年間に学んだ教訓：
- 製品の使いやすさが重要です
- ベストプラクティスをサポートするAPI
次に、Ma TieDashenがApacheSpark3.0の新機能を簡単に紹介しました。興味のある学生は過去のビッグデータを記憶するApacheSpark3.0.0の公式バージョンにアクセスすることもできます。ApacheSpark3.0の公式バージョン.0がついにリリースされ、重要な機能が完全に分析されました。
