完全なエンタープライズレベルのデータ分析システムはどのように見えるべきですか？一部の人々は言う：ビッグデータチームを持って、それからビッグデータプラットフォーム、ビッグデータ分析、ビッグデータマイニング技術を追加する必要があります、そしてそれはそれだけです。
ビッグデータ分析プラットフォームには、一連のサーバー、データの収集と処理、分散ストレージ、コンピューティングエンジン、データウェアハウスが含まれます。これらもオフラインとリアルタイムの2つの技術ラインに分かれています。
ビッグデータ分析には、インデックスシステム、ディメンション、固定レポート、多次元分析、アドホッククエリ、主題分析などが含まれます。
ビッグデータマイニングには、タグ付けシステム、アルゴリズム開発プラットフォーム、レコメンデーションシステム、早期警告予測など、さまざまなモデルとアプリケーションが含まれます。
ビッグデータチームには、ビッグデータエンジニア、アルゴリズムエンジニア、BIエンジニア、ビジネスデータアナリストなどの役割が含まれます。
素人がそれを聞いたとき、すごい、ニウX！背が高く、プロフェッショナル！
上司がこれを聞くとすぐに頭が大きくなりましたが、それを作るのにどれくらいのお金とどれくらいの時間がかかりますか？
データの専門家がアレクサンダーを聞くとすぐに、彼はまだこの仕事をすることができないほど多くのことを知らなければなりませんでした。
上記の答えは正しいですか？正解ですが、機能しませんでした。
会社は車のようなものであり、経営者はドライバーであり、各部門は車のシステムであり、会社の運営のプロセスは目的地にスムーズかつ安全に到達することです。
その中で、データ分析システムは、知覚システム、警報システム、およびナビゲーションシステムの責任を引き受ける必要があります。
その場合、エンタープライズレベルのデータ分析システムのベストプラクティスは次のようになります。
内部認識システム：さまざまな内部動作パラメータのタイムリーな通知。
外部認識システム：外部の競争と機会の状況に関するタイムリーなフィードバック。
警報システム：時間内にさまざまな異常を発見して報告し、障害のポイントを示します。
ナビゲーションシステム：設定された目標に従って、現在の計画と場所に従っていくつかの到達可能な計画を提供し、次の行動方針を示し、目標について合理的な予測を行い、現在の実装をリアルタイムでフィードバックします。
システム全体を分解すると、「ビッグデータ」は実際にはツールレベルにすぎないことがわかります。これにより、同時実行性、可用性、信頼性が高い環境でのデータ分析とマイニングの効率が向上します。したがって、ツール、テクノロジー、および人員の選択はすべて、適切に編成されたプロセスと適切に構造化されたデータ分析システムによって決定されます。どのようなアーキテクチャが必要かは、企業の種類、その段階、短期、中期、長期の目標によって決まります。一般化することはできません。何が必要な場合でも、ビッグデータプラットフォーム、アルゴリズム、機械学習、クラウドプラットフォーム。
各企業の実際の状況に着陸するには、着陸ソリューションが必要です。これは、単純な一時的なソリューションまたは体系的なソリューションです。1人または2人で解決することも、大規模なチームで行うこともできます。
実際の状況からデータ分析システムについて話すことは、フーリガンであり、素人をいじめることです。盲目的に高尚さを追求することで、最終的な結果は孤独で、高く、やもめになり、実際的な問題を解決することはできません。
したがって、企業の実際の状況に応じて、データ分析システムのベストプラクティスは、現在のニーズを満たし、適切に高度な計画を行い、内部および外部の認識、アラーム、およびナビゲーション機能を備えた組織とテクノロジーを確立することです。
次回は、エンタープライズレベルのデータ分析システムを構築する方法を共有します。