サプリメント - 高は、計算フレームワークHTCondor(VI)のスループット

1.テキスト

1.1いくつかの問題

あなたが本当にHTCondorにしたい場合は、ハイスループットコンピューティング製品もLinuxシステムの下でコマンドウィンドウにやるべきことがたくさん、HTCondorなしGUIインターフェイス、より包括的でより便利な機能を必要とします。

スプリットタスクユーザーは、この操作をマージし、分割後の操作をマージする大きな可能性を分割することは非常に便利な、実際に計算集約型の多くはないが、時間がかかるかもしれことも検討する価値があり、そして唯一のスタンドアローン操作を分散することができません計算。スプリットタスクもそう同時にすべてのタスクという、ロード・バランシングを確保するために、すなわち、どのような経験が必要です。

ファイルアクセスも研究に値する問題です。次回は、データがタスクでプログラムを実行しているマシン上でミッションエリアに送られ、あるデフォルトのWindowsファイル転送メカニズムを使用し、このアプローチは、多くの場合、巨大なIO閉塞へのリードは、再実行が完了した後に、データ転送があまりにも、削除空になります廃棄物を結果としてIOパフォーマンス。条件が許すのであれば、最高または分散ファイル管理システムの使用は、当然のことながら、別の質問です。

Windowsのバニラモードで一部の機能の使用が制限されます。

  1. タスクマシンがネットワークアドレスリソースのタスクマシンにアクセスすることはできませんタスクプログラムに送られ、これは、セキュリティポリシーによるものです。
  2. 送信タスクプログラムがさらにカプセル化され、デフォルトのパラメータを変更します。
  3. コンピューティングリソースの作業に問題はなく、自動的に移行されたブレークポイントの続編がある場合。この機能は、HTCのために重要であり、問​​題は運用HTCプロセスのスケールの安定性です。この問題はまた、下にさらに取得する必要があります。

HTCondor自身のコンピューティングリソースは、CPUコアの数に応じて分割され、それはまた、議論の余地があります。あなたは8コアのマシンを送信するタスクを与える場合は、このタスクに起こる場合、マシンは、8ミッションを実行しますIO集約型に関連付けられている、それはIO性能の廃棄物が発生します。結局、ハードディスクは、唯一のヘッドはヘッドがディスクの損失の原因となります単一のディスクで繰り返し移動され、常にあります。そして、CPUはコア、GPUリソ​​ースの数に応じて分割することができますか?GPUはそれをどのように分割するかのタスクベースのプログラムのためのコンピューティング?多くの実用的なケースでは、より合理的な数のノードとしてマシンにあってもよいです。

より良い性能を達成するために、私は、ファイル共有メカニズムを使用しての簡単な方法があります。それは、アクセスネットワークリソースには不可能であるが、計算の前にファイル共有を行うことができますが、それは、ローカルリソースへのアクセスを確保するために、先のマシンまでのタスクに転送されるデータのニーズプログラムのタスクHTCondorジョブプログラムです。そのような送信されたデータを繰り返し使用することができ、それは、後続タスクの効率に寄与する。あなたは非常に精通していること、ネットワーク上のファイルを共有しない限り、このアプローチは、どのように私はそうしないことをお勧めします、と言うべきです。

1.2。使用をお勧めします

  1. condor_q表示タスクHは、プログラムを送信するタスクが正しく動作しない可能性があることを示す、保留されている、マシンは一般的にいくつかのDLLとして、動作環境の必要なタスクを欠如していることです。
  2. 安定したネットワーク環境を維持する必要性。一部のセキュリティソフトウェアは、ファイアウォール、ネットワークツールは、タスク実行することができないで、その結果、ネットワーク環境の変化をもたらすことができます。例としては、ローカルLANに基づいています。
  3. HTC、より安定性を重視していないだけで、高性能、すべての変更は、この原理に基づいている必要があります。
  4. HTCondorは、タスクキューの優先度の操作機能condor_prioを設定している、あなたは、ドキュメント内の指示を表示することができます。
  5. 「提出ユーザーとしてジョブを実行」HTCondorのヘルプドキュメントのセクション7.2.4では、ネットワークリソースの作業プログラムへのアクセスの問題を提起しました。

    デフォルトでは、HTCondorは、最小のアクセス権限や特権を持って、それぞれの新しい仕事のために再作成された専用の実行アカウントを使用して、Windows上でジョブを実行します。別の方法として、HTCondorは、ユーザーが自分のWindowsログインアカウントを使用してジョブを実行できるように構成することができます。ジョブは、ネットワーク共有上の、または低い特権の実行アカウントに利用できない他のリソースへのファイルにアクセスする必要がある場合に便利です。
    この機能は、安全なパスワードの保存と検索のためのcondor_creddデーモンを使用する必要があります。実行中のデーモンcondor_creddでは、ユーザーのパスワードがcondor_store_credツールを使用して、保存しなければなりません。その後、仕事を望んでいるユーザーは、ジョブの提出記述ファイルに自分のアカウントの場所を使用して実行する
    run_as_owner =真

この一節の意味することは、より背景condor_credd・プロセスについて、あなたは環境を設定する必要があります。しかし、私は7.2.5項に従い、成功しなかった「condor_creddデーモン」のconfigure興味ブーツ子供は自分自身でそれを試すことができます。

2.関連

前の
目次

おすすめ

転載: www.cnblogs.com/charlee44/p/12233502.html