ビジネスの急速な発展に伴い、特定の自動車製造会社のビジネス システムの数、複雑さ、データ量は飛躍的に増加しており、企業の IT 機能と IT アーキテクチャ モデルに対する要件はますます高まっています。さらに、同社はデジタル マーケティング、新エネルギー車、その他のビジネスを精力的に開発しており、顧客エクスペリエンスを継続的に最適化することで持続可能なデジタル変革の道筋を築くことを望んでいます。
デジタル変革によってもたらされる課題に適切に対処するために、既存のサイロ化されたデータ システムでは、より多くのより高速なシステムとデータの相互作用、機敏で革新的なアプリケーション、データ共有、および新しいビジネス開発のニーズを満たすことができません。データドリブンのデジタル化は、自動車会社がユーザーニーズの変化を包括的に理解するのに役立ち、また、マーケティング、生産、サービスのあらゆる側面で企業をサポートし、企業の業務効率をさらに向上させることができます。
自動車会社のデータ変革を実行する場合、次の 3 つの主要な問題を解決する必要があります。自社のデータをどのように収集、要約、運用するか。データ ガバナンス運用チームを構築するにはどうすればよいですか? 短期間で素早く成果を出し、社内の信頼を築くにはどうすればよいでしょうか？
自動車会社のデータセンター構築の第 2 段階では、データ管理プラットフォームの構築に重点が置かれています。データ ガバナンス プラットフォームの核となる概念は、「データはビジネスから来て、ビジネスのために使用される」ということです。つまり、自動車会社にとって、データの生成から消費、そして消費後にデータが生成されるまでの完全な閉ループ プロセスです。生産工程に戻ります。
01 データ「生産・消費・生産」クローズドループのデータガバナンスソリューション
1. コンサルティングサービス
特定の自動車会社の組織構造、組織システム、データ資産インベントリに基づいて、国際、国内、業界標準と組み合わせて、データ資産の完全なライフサイクル管理を中心に関連するデータ仕様システムが開発されました。データガバナンスコンサルティングを通じて、マーケティング事業ライン、製造事業ライン、および製造事業ラインにおけるデータ分類および分類基準の策定を実現するために、プロジェクトに関わる標準、組織、仕様、プロセス、システムなどのデータガバナンスシステムを構築します。ビジネスラインの研究開発、マスターデータとデータ標準、データモデル、メタデータ、データ品質、データセキュリティ、データライフサイクル、データアーキテクチャなどの標準、プロセス、管理システムを策定し、全社に推進する能力を有するビジネスライン。
1つ目はデータガバナンス体制の整備です。データ ガバナンスの全体的な計画には、データ管理のビジョン、組織モデル、管理境界、推進戦略が含まれます。データ管理システムの設計には、データ ガバナンスの基盤、データ管理の中核領域、データ アプリケーションが含まれます。タスクと計画には、データ管理の特定が含まれます。タスクと実施原則の分析、実施計画の策定。
2つ目はデータガバナンスの組織計画です。データ管理業務の実際のニーズに応じて、各スタッフの責任を事業部門、技術管理部門、ビジネスアプリケーション部門の間で決定する必要があります。たとえば、さまざまな事業部門は、それぞれの事業運営に必要なデータに関する特定の要件と関連ルールを明確にする必要がありますが、技術部門は、部門によって提示された要件の変換を含む、事業部門のニーズに応じた具体的な実装作業を担当します。ビジネス部門が事前に使用できる技術言語に変換し、制御（フィールド制約など）、イベント中の論理制御（制御を空にすることはできないなど）、イベント後の検証、および特定の技術的操作と定期レポートの作成、など。
2. プラットフォーム構築
データオフライン開発、リアルタイム開発、データモデリング、データ標準、データ品質、データ系統、データセキュリティ、メタデータ管理、データ資産、データタグなどの機能を満たすKangaroo Cloudデータ資産管理スイートとビジュアル開発スイートを提供します。データ資産の管理、データ品質の向上、データ資産センターの構築、ビジネス イノベーションをサポートするデータ サービス センターとアプリケーション センターを構築するための、ビッグ データ プラットフォーム、オープン プラットフォーム、スケジューリング プラットフォーム、および視覚化プラットフォームがあります。
3. プロジェクトの実施
マーケティング事業ライン、製造事業ライン、研究開発事業ラインのデータ資産を整理し、データドメインを分割し、データアプリケーションを構築し、データライフサイクルの全プロセスを実現します。具体的な実装内容には、データ資産マップ、データモデル、データ標準、メタデータ管理、データリネージ、データ分類、データ品質ルールとレポートなどが含まれます。
まず、データ資産ポータル
企業データ資産のグローバル統計により、企業管理者はデータの分布、増加、使用、品質を直感的に理解できるようになります。含むがこれらに限定されません：
1)データ指標の統計: データ ソースの数、テーブルの数、ストレージ量、使用量、品質スコア。2) データ傾向の統計: データ分布、データ増加傾向、およびデータ使用の人気。3) データ使用ランキング: データ ストレージ ランキング、メタデータ品質: 規範的な傾向と規範的なランキング。
2つ目はデータマップです
データマップはビジュアルなデータ資産センターとして位置付けられており、ユーザーはデータマップモジュールでプラットフォーム内のすべてのデータテーブルを閲覧できると同時に、データ資産を総合的に管理することができます。
1) データ検索: プラットフォーム内のすべてのデータ テーブル情報を収集して、開発者が必要なデータ テーブルを迅速に見つけられるようにします。また、ユーザーがカテゴリ、テーブル名、プロジェクト、承認ステータスに基づいてフィルタリングしたり、テーブル名に基づいて直接検索したりすることをサポートします。
2) データテーブルのメタデータ表示: ユーザーがテーブルを指定すると、テーブル名、物理ストレージ量、ライフサイクル、テーブルをパーティション化するかどうか、フィールド名、フィールドタイプ、パーティション情報などのテーブルの基本情報を表示できます。など、同時にテーブル内のデータをプレビューして視覚的に表示します。
3)データカテゴリ管理: プラットフォーム内のデータテーブルが増えると、データカテゴリの重要性がますます顕著になります。3 レベルのカテゴリ管理を提供します。ユーザーはレベルと名前をカスタマイズし、データ テーブルを特定のノードに割り当てることができます。データ開発者は、データを検索するときにデータ カテゴリに従ってすばやく見つけることができます。
4) データ承認権限:テーブル レベルのデータ権限の管理を提供します。ユーザーがプロジェクト全体でテーブルにアクセスする必要がある場合 (読み取り/書き込み)、まずプロジェクト管理者によって承認および承認される必要があります。承認後は、プロジェクト全体でテーブルにアクセスできます。プロジェクト。同時に、認可承認には有効期限の概念があり、有効期間を過ぎると自動的に認可が取り消されるため、データアクセスのセキュリティが向上します。
4) ライフサイクル管理: テーブルのライフサイクル管理を提供します. テーブル作成時にライフサイクルを指定できます. システムは各テーブル/パーティションのデータ更新時間を定期的に検出し、時間が経過すると自動的にデータを削除します.一時データによるストレージの圧迫です。
5) データリネージュ分析: 自動解析同期タスクと SQL コードを提供して、各データ テーブルのテーブル レベルおよびフィールド レベルのリネージ関係を自動的に確立します。ユーザーは各インジケーターの「過去と現在」をページ上で直接確認できます。インジケーターの迅速なトラブルシューティングが容易になります。問題が発生した場合は、インジケーターの統計ロジック、依存リンクが正常かどうかなどを確認してください。
第三に、データ品質
データ ガバナンスの一環として、データ品質の確保と改善はビッグ データ プラットフォームの重要な機能です。データ品質の管理は、イベント前、イベント中、イベント後のプロセス体系、つまりイベント前の監視ルール定義、イベント中のデータ生成と監視、データ品質分析に大別して実施できます。イベントの後。
1) 事前管理: 管理する必要があるデータ ソースにアクセスし、ビジネス ニーズとデータの理解を組み合わせて、監視する必要があるデータの監視ルールを構成します。
2) インプロセス管理: 定義した監視ルールのスケジュール周期を設定することで、システムが自動的に実行し、データ品質を検証します。
3) イベント後の管理: 検証がルールを満たしていないデータについては、エラー リマインダーをタイムリーに発行します。同時に、システムは監視レポートを自動的に生成し、ユーザーがデータの問題を確認して要約するのに役立ちます。
4番目、データセキュリティ
1) データ権限制御: テーブル レベルのデータ権限の管理をサポートします。ユーザーがプロジェクト全体でテーブルにアクセスする必要がある場合 (読み取り/書き込み)、まずプロジェクト管理者による承認と権限が必要です。承認後、テーブルにアクセスできるようになります。プロジェクト全体で。同時に、認可承認には有効期限の概念があり、有効期間を過ぎると自動的に認可が取り消されるため、データアクセスのセキュリティが向上します。データ サービスのセキュリティを確保するために、データ リソース サービスに対する許可の申請と承認をサポートします。
2) ライフサイクル管理:テーブルのライフサイクル管理をサポート テーブル作成時にライフサイクルを指定可能 各テーブル/パーティションのデータ更新時間を定期的に検知し、時間が経過すると自動的にデータを削除するため、テーブル作成時のライフサイクル管理をサポート一時データによるストレージの圧迫です。
3) データ影響分析: ユーザーが同期タスクを設定し、SQL タスクを通じてクリーニングと変換処理の複数のステップを実行すると、最終的に結果データが出力されます。処理リンク全体では、データの血縁関係が暗黙的に反映されます。同期 タスクおよび SQL コードでは、データ インパクトは、各統計指標が生データからどのように導出されるかのプロセスを表します。
4) データの感度解除:カスタムの感度解除ルールをサポートしており、データ プレビュー中のデータ漏洩を防ぐためにさまざまな機密データに適用できます。国家標準に従ったセキュリティ レベルのカスタマイズのサポート、人物とテーブルの分類と格付け、カスタム スクリプト関数と正規表現のサポート、オンデマンドでの識別ルール、識別関数、および非感作ルールの関連付け、機密データの自動および動的識別、組み込みのさまざまな機能のサポートが含まれます。機密データ識別の通常のテンプレート、つまり ID カード、銀行カード番号、電子メール、携帯電話番号、IP、固定電話番号、ナンバー プレート番号、名前、会社、住所、およびユーザー定義ルールの識別も提供されます。
02 データガバナンス基盤を構築し、データ品質を大幅に向上
データガバナンスプラットフォームプロジェクトを通じて、自動車会社はデータ仕様、標準、品質、サービスシステム、ガバナンス組織構造などの構築を完了しており、基本的に2〜3年間の企業のデータ開発要件を満たすことができます。データミドルプラットフォームとデータガバナンスソリューションを組み合わせることで、この段階で段階的な結果が達成されています。
1つ目は、強力なデータ開発およびガバナンスプラットフォームシステムを構築することであり、データプラットフォームの構築を通じて、特定の自動車会社向けのデータ基本処理プラットフォーム、データ資産管理プラットフォーム、およびデータサービスプラットフォームを実現できます。これにより、標準化されたデータ収集、データ品質管理、データ資産管理、データ アプリケーションに至るまでの標準化されたデータ処理プロセスの完全なセットが可能になり、同時に BI およびレポート ツールに接続できると同時に、メタデータの標準化された API 管理機能も提供されます。
2 つ目は、データの問題の根本原因を迅速に特定することです。データの問題は、必ずしも実際のデータの問題ではないことがたくさんあります。すべてのユーザーが、理解が難しい問題に遭遇したときにすぐに問題の特定を支援する技術担当者を見つけられれば、技術担当者は、問題の特定に時間がかかりすぎ、最終的にはデータの問題がどんどん山積していきます。そこで、このプロジェクトでは、ユーザーが問題の原因を特定し、解決できない場合には、問題の解決を支援する技術担当者を見つけることができるセルフサービスのトラブルシューティング機能をユーザーに提供します。さらに、データ フローの中間結果のデータが視覚的に表示されるため、最終結果レポートが欠落しているか正しくない場合でも、データ エラーのリンクを迅速に特定できます。
第三に、データの品質が保証され、データの価値が高くなります。信頼できるデータ品質は、意思決定者の意思決定の効率と結果を向上させるだけでなく、リスクの可能性も軽減します。企業は信頼できるデータを使用すると、質問に答え、より迅速かつ一貫した意思決定を行うことができます。データの品質が高ければ、問題の発見に費やす時間が減り、データを使用して洞察を得たり、意思決定を行ったり、ユーザーにサービスを提供したりする時間を増やすことができます。
「Dutstack 製品ホワイトペーパー」ダウンロードアドレス：https ://www.dtstack.com/resources/1004?src=szsm
「データ ガバナンス業界実践ホワイト ペーパー」ダウンロード アドレス: https://www.dtstack.com/resources/1001?src=szsm
ビッグデータ製品、業界ソリューション、顧客事例について詳しく知りたい、または相談したい場合は、Kangaroo Cloud 公式 Web サイトをご覧ください: https://www.dtstack.com/?src=szkyzg
IntelliJ IDEA 2023.3 と JetBrains Family Bucket の年次メジャー バージョン アップデート 新しいコンセプト「防御型プログラミング」: 安定した仕事に就く GitHub.com では 1,200 を超える MySQL ホストが稼働していますが、8.0 にシームレスにアップグレードするにはどうすればよいですか? Stephen Chow の Web3 チームは来月、独立したアプリをリリースする予定ですが、 Firefox は廃止されるのでしょうか? Visual Studio Code 1.85 リリース、フローティング ウィンドウ Yu Chengdong: ファーウェイは来年破壊的な製品を発売し、業界の歴史を書き換えるだろう 米国 CISA はメモリ セキュリティの脆弱性を排除するために C/C++ の廃止を勧告 TIOBE 12 月: C# がプログラミングになると予想30年前に 雷軍が書いた論文「コンピュータウイルス判定エキスパートシステムの原理と設計」