DataOps の概念が最初に提案されてから 8 年が経過し、2018 年に Gartner によるデータ管理テクノロジーの成熟度曲線に組み込まれました。実装の観点から見ると、DataOps はまだ開発の初期段階にあり、これに基づいて一連の方法論や技術的な製品システムを実際に構築できる企業やチームはほとんどありません。しかし、ますます多くの企業がDataOpsの実践を始めるにつれ、人々に「霧の中の花を見る」ようなDataOps手法体系が徐々に明らかになると考えられています。
Fun Pill Technology もその探索者の 1 人であり、今号の「UGeek Big Coffee Talk」では、Fun Pill Technology のシニア アーキテクトである Lin Jiajun 氏をライブ ブロードキャスト ルームのゲストとして招き、「 Fun Pill テクノロジーの DataOps の進化と実践」では、Fun Pill テクノロジーの DataOps 探求の道における困難、課題、エンタープライズ レベルのソリューションを深く分析します。
7月27日20:00
Uway オンライン ライブ ルームをロックする
「データオプスセッション」
Quwan Technology DataOps の進化を探ってください。
01 ゲスト紹介
林佳軍
Guangzhou Quwan Network Technology Co., Ltd. (建築家)
個人プロフィール:
Guangzhou Quwan Network Technology Co., Ltd. のアーキテクト。Quwan Technology のデータ部門のワンストップ データ開発プラットフォームを担当。データガバナンスとデータモデリングが得意で、公安業界でデータガバナンスに5年以上の経験があり、10以上の省と市で公安ビッグデータ基礎プラットフォームと警察ビッグデータ応用プラットフォームの構築に参加し、その後、完成したデータ ガバナンス プラットフォームと視覚分析 モデリング プラットフォーム、家族マップ、関係マップ、インテリジェント クラウド検索、ホログラフィック アーカイブ、その他の製品をゼロから 1 まで設計および開発します。現在、Quwan Technology のデータ開発ツールを統合し、ワンストップのデータ開発プラットフォームを構築することが主な業務です。
02 テーマ紹介
講演テーマ: 「Fun Pill テクノロジー DataOps の進化と実践」
テーマの紹介:
DataOps は、データ管理分野におけるエンジニアリング文化および実践として出現しました。その目的は、データ ユーザーがデータを理解し、使用し、開発および分析するための敷居を下げ、データの検出、統合、モデリング、分析、および分析を確実に行うことです。自動化された手段を通じてデータ パイプライン全体を適用し、データ価値の継続的な配信を実現します。最終的には、データの包括性とデータの民主化が実現され、誰もがデータの価値に貢献する可能性があります。
Quwan Technology のビッグデータ システムは、4 年近くの反復開発を経て、国内外の十数個のビジネス APP、財務データ、運用データ、サードパーティ サービス プロバイダーのデータをカバーし、PB レベルのデータ規模に達しています。 。典型的なシナリオを継続的に磨き上げ、データ分析、製品運用、データ研究開発のニーズを統合し、オフラインデータウェアハウス、推奨アルゴリズム、ファジーアトリビューション、正確なアトリビューション、リアルタイムデータを含むビッグデータサービスとAIを徐々に形成します。ウェアハウス、データ分析などのサービスのためのビッグデータ プラットフォーム。既存のデータ構造と研究開発管理をベースに、この成熟したビッグデータプラットフォームにどのように適応し、Fun Pill Technologyの特徴を備えたDataOps構築の道を模索するかが、私たちが直面する最大の課題です。
03見どころ紹介
1. Fun Pill テクノロジーについて知る
2. DataOps 実践において Quwan Technology が直面する課題
- 非効率的なデータアクセス
- データ品質が悪い
- データ開発効率が低い
3. Quwan テクノロジーの DataOps 進化
- DataOps 1.0、埋め込まれたポイントの標準化と標準化、データレポート標準の統一、データ品質の向上とデータクリーニングの難しさの軽減
- DataOps 2.0 は、ワンストップのデータ R&D ソリューションを提供し、エンドツーエンドのフルプロセス R&D 閉ループ機能を形成し、データ理解、データ アクセス、データ開発からデータ サービスに至るデータ R&D のライフサイクル全体をカバーします。
4. 今後の展望
- データ可視化機能を強化し、ワンストップのデータ分析基盤を構築
- クラウド ネイティブ ハイブリッド テクノロジを深化し、さまざまなアプリケーション シナリオにおけるクラウド ネイティブ ハイブリッド展開のコスト削減と効率向上を調査します。
- DataOps データ R&D パイプラインを実装してアジャイル データ R&D システムを構築する
04 視聴者収入
- Fun Pill DataOps が直面する課題、困難、エンタープライズレベルのソリューションを理解する
- データアクセス標準策定のプロセスと有効性を理解する
- エンドツーエンドのフルプロセス研究開発クローズドループシステムの構築プロセスと有効性を理解する