著者: 禅とコンピュータープログラミングの芸術
1 はじめに
情報爆発の発展に伴い、ますます多くのデータが生成、収集、処理されています。ますます多くの人がこれらのデータの価値に依存し始めていますが、データの収集、処理、分析、応用には依然として大きな問題があります。これらの膨大なデータをいかに短期間で迅速かつ正確に分析するかは、解決すべき重要な課題です。モノのインターネット、インターネット、センサー ネットワークなどの新しく複雑なシステムでは、リアルタイム データの処理と分析が重要な機能になっています。エッジ コンピューティング プラットフォームでは、高性能な処理能力に加えて、ローカル データのセキュリティを考慮し、ユーザー エクスペリエンスの要件を満たす必要もあります。したがって、データの処理と分析をアプリケーション シナリオ側にどのようにプッシュするかが、エッジ コンピューティング プラットフォームの開発にとって重要です。この記事では、具体的なケースを通じて、ユーザーが効率を向上させ、コストを削減し、ユーザー エクスペリエンスを向上させ、ビジネス目標をより良く達成できるように、データ処理と分析をエッジ コンピューティングに迅速かつ正確に導入する方法を説明します。
2. 基本的な概念と用語
データの収集と取得
まず、「ライブ」データと「オフライン」データの違いを理解する必要があります。「オフライン」データの場合、通常は一定期間内の履歴データです。たとえば、毎朝 8:00 前のデータは、モデルをトレーニングするための入力データとして使用できます。一方、「リアルタイム」データは通常、数秒または数分以内に更新される限界データを指します。たとえば、携帯電話のセンサーから取得した GPS 座標、デバイスのリアルタイムのステータスなどです。
実際、「リアルタイム」データと「オフライン」データの間には、データがいつ生成され消費されるかというもう 1 つの違いがあります。「リアルタイム」データはソース (携帯電話センサー、センサー ネットワークなど) から直接生成され、すぐに処理する必要があります。「オフライン」データは、一定の間隔で保存および処理されます。たとえば、毎朝 8 時以前のログ データはトレーニング モデルの入力データとして使用できますが、5 分、10 分、さらには 30 分ごとに生成される IoT データはすぐには処理できません。
数