1. ApacheのOozie
Oozieは、ワークフローのスケジューリングシステムです。OozieはJavaサーブレットコンテナ上で実行するJava Webアプリケーションです。XML構成ワークフローを使用してファイルを表示する権限がありませんOozie(DAG)スケジューリング方法に従い。もともとはCloudear会社によって開発され、後にApacheに寄贈されました
。apacheのOozieアーキテクチャ
- oozie Webアプリケーション:oozieサーバー
UIインターフェースを提供することで、タスクが唯一のマップは、サービス項目に、特定の作業を実行するタスクをスケジュールするタスクを低下させないのMapReduceを開始するには、Hadoopのラップに顧客の提出のポイント、提出を受けます。
B。基本原理
ワークフローを使用してXML構成
- XML:workflow.xml(プロフィールに有向非巡回グラフを実現するための)ワークフロー構成の具体的な実行。
- job.properties:一般的な設定ファイルワークフロー実行パラメータ情報。
ノードは2つのカテゴリに分類されます。
- 制御ノード:ワークフローの開始端フォークはキルに参加記述するために
- アクション・ノード:MR、ジャワ、ハイブ、シェル、火花など:ノードは、特定のタスクを実行するには、これらに限定されないが含まれます。
C。タイプのワークフロー
- ワークフロー:逐次実行プロセスノード、通常のワークフローのスケジュール、ワークフローバッチを含まないタイミングを必要としません。
- コーディネーター:スケジューリングタスクの定期的なサイクルをサポートしています
- バンドル:サポートすることで、バッチ処理をサポートしているのタイミング。