コンジュゲート方向は最急降下法との間に介在している方法とニュートン法です。唯一の一次導関数の情報および方法は、単一の遅い収束単純であるを使用して最急降下法。ニュートン法は、より速く収束し、二次収束が、計算集約的です。最初の派生情報共役方向、そう計算ニュートン法少量の収束が速く、最急降下法よりです。その基本的な考え方として、共役方向探索方向のセットを生成すると、$ $ n次元正二次の目的関数の最小値を見つけることです。ラインでは、検索アルゴリズムは、$ステップで$ n-決定された最小の時点までにすることができます。正式修正要求アルゴリズムは、非二次目的関数の一般的な場合に拡張することができます。以下は、最初の共役方向の概念を説明します。
セット$ G $ $ $ n次の対称正定行列、$ D_1、D_2、...、d_m（M <= N）$ $ n次元ゼロベクトル$の集合として定義されます。もし
$ D_1、D_2、...、d_m $ $ G $がコンジュゲートされていると呼ばれる$ D ^ T_iGd_j = 0、I \ NEQのjは$、。