OpenAI GPT モデルを対話生成に使用する場合、top_p パラメーターを設定すると、次の単語を生成する確率分布を制御できます。つまり、すべての単語の中から最も確率の高い部分のみを候補単語として選択します。たとえば、top_p=0.7 に設定すると、モデルは 70% の最も高い確率を持つ単語のみを候補単語として考慮します。そうすることで、世代の多様性がある程度高まり、単調すぎる答えや繰り返しの答えが生成されるのを避けることができます。
1.温度は、
生成されたモデルからのランダム サンプリングの程度を調整するために使用されるため、[生成] をクリックするたびに同じプロンプトで異なる出力が生成される場合があります。温度が 0 の場合は、常に同じ出力が生成されます。温度が高いほど、ランダム性が大きくなります。
2. Top p は、
トークン候補リストのサイズを動的に設定します。可能性の合計が特定の値を超えない上位トークンを候補リストに表示します。
通常、上位 p は、サンプリングされる可能性のある低確率トークンの長さを制限するために、高い値 (0.75 など) に設定されます。
3. トップ k
により、他の高得点トークンが選択される機会が得られます。このサンプリングによって導入されたランダム性は、多くの場合、生成の品質に寄与します。top-k パラメータを 3 に設定すると、上位 3 つのトークンが選択されることになります。
k と p の両方が有効な場合、p は k の後に有効になります。