スパーク操作の原則（中国語固有のメモ）

スパーク操作の原則は、スパーク操作中にクラスター内のノードがタスクを受信して​​処理する方法を説明しています。

具体的な手順は次のとおりです
。1.クライアントがコマンドを通じてジョブタスクを送信すると、ドライバーは関連するノードを起動して動作します
2.クライアントのドライバーがリソースをマスターに登録します。
これらの2つのステップで、ドライバーの役割は実際にタスクがあることをクラスターに通知して作業を開始することであり、特定のタスクはマスターを開始することです。マスターの役割は、タスクを実行するためのリソースを割り当て、リソースの使用を監視することです。プロジェクトの場合、マスターは、車両のスケジュール設定、砂とセメントの材料と投与量の配布を担当します。実際、それは作業のタイプをスケジュールするジョブです。3。
マスターは、ワーカーにエグゼキューターを開始させます。ワーカーは実際には機能していません。会社では、エグゼキュータはマスターのマテリアルと使用法に従って起動されます。実際の作業はエグゼキュータ
のプロセスです。プロセス名はexecitorBackendなので、タスクを送信すると、ワーカーノードにプロセス名が表示されます。特定の作業プロセス
。4。ExecutorBackendはドライバーに登録します。この手順の意味は、誰が作業しているかをドライバーに知らせることです。ダイバーが知ると、現時点で関与するExecutorBackendの作業を分割するスケジューリングマネージャーSchedulerBackendを見つけます。 DAGScheduler、彼は具体的にタスクを細分化する機能、つまりタスク細分化です 、タスクは複数のステージ（段階）に分け、次いで方法では、次のタスクに送られるExecutorBackend
ドライバーはプロジェクトマネージャーと同等であり、DAGSchedulerはプロジェクトチームリーダーと同等です。ドライバーが引き継ぎ、DAGSchedulerがタスクを分割できるようにしてから、ビッグブラザーを与えます。このとき、DAGSchedulerも関与します。 、タスクを複数のステージに分割し、ExecutorBackendにタスクとして送信します。このプロセスでは、ドライバープロジェクトマネージャーはトーカーであり、マスターおよびワーカーモニターのリソースです。どの車があなたが車を交換するのに適していないか、ワーカーがあなたのために機能しない、本当の車はSchedulerBackend（ディスパッチャー）、DAGScheduler（プロジェクトリーダー）、ExecutorBackend（ワーカー）
は実際にはスパーク全体ですスケジューリングと通常のサイト構築およびプロジェクト開発プロセスは似ています。端的に言えば、誰かが作業を監督し、誰かがタスクを分割し、誰かがタスクを割り当て、誰かが作業します