インテリジェント製造における高周波応用技術の回帰モデル

序文

データ駆動型の手法や人工知能などのテクノロジーを産業分野や製造分野に導入する場合、そのようなアプリケーション シナリオと一般的なアプリケーション シナリオの重要な違いは、回帰モデルに重点を置いていることがわかります。一般的な AI アプリケーション シナリオや商業データ分析シナリオでは、分類モデルとクラスタリング モデルにより注意を払います。これらのモデルは、現在の市場状態が好景気かどうかを判断する、または市場が急成長しているかどうかを視覚的に識別するなど、認識したい目標に関する定性的な判断を形成します。人はドアにアクセスできるなど。産業用シナリオでは通常、より高い要件が必要になります。

多くの産業応用シナリオでは、観測対象を定量的に判断する必要があります。これらのアプリケーション シナリオは、工業製品の研究開発、製造、運用、保守のライフ サイクル全体に現れます。そのため、産業シナリオではより定量化可能な回帰モデルを使用する必要があります。回帰モデルを構築することで、工業製品のライフサイクルの各段階に存在する法則を要約して把握することができます。そして、これに基づいて、コストの削減と効率の向上、品質の向上、問題の回避、さらにはリアルタイム制御を実現できます。これらのシナリオを説明するために、各フェーズから例を選択してみましょう。

1. 製品を設計する際、設計パラメータの選択が異なると、製品の性能も異なります。理論的には、設計パラメータと性能の関係はさまざまなシミュレーション計算によって求めることができ、これに基づいて数理計画法（最適化）手法を使用することで最適な設計パラメータを求めることができます。しかし、実際の業務においては、シミュレーションを行うたびに多大な時間とハードウェアリソースが必要となり、最適化設計を進めることが困難になります。このためには、いわゆるプロキシ モデルを導入する必要があります。プロキシ モデルは、いくつかのシミュレーション結果に基づいて、代わりに比較的非常に少ない計算量でシミュレーション プロセスをシミュレートし、実際のシミュレーション プロセスの呼び出しを大幅に削減します。最適化設計で。ここでの代理モデルとは、複数のシミュレーション計算結果のデータに基づく回帰モデルである。

2. 製造業の生産ラインには、最終製品の歩留まりに影響を与える多数の工業パラメータと影響要因があります。次に、これらのパラメータの値と影響因子を認識するという条件の下で、これらの要素と最終製品の歩留まりとの間に何らかの近似的な関数関係を確立したいと考えています。そのためには、認識データと影響因子との間の回帰を確立する必要があります。製品の歩留まり モデル。

3. 原子力施設、航空宇宙、航空、船舶、先端製造の生産ラインなど、複雑かつ高価な工業製品については、デジタルツイン技術を活用して稼働状況をリアルタイムに監視し、それに基づいて製品の潜在的な稼働リスクを推定することが重要です。現在重要な開発と建設の方向性。この技術では、現実認識データを取得した後のシステム全体の状態や次の時間におけるシステムの状態変化を高速に計算する必要がある。デジタルツインのリアルタイム性が高いため、この状態を解決するために複雑なメカニズムモデルを使用することは現実的ではないことが多く、現時点では、デジタルツインシステムにはシステムメカニズムの関係の近似表現が含まれている必要があります。 。この表現は、システムのメカニズムの関係とシステムの実際の状態情報を組み合わせて、計算の複雑さが低く、堅牢性が高く、高精度のシステム近似モデルを形成します。この近似モデルの解は主に回帰モデルの構築に属します。

これらの例は、スマート製造のさまざまな段階における回帰モデル構築の一般性を示しています。このような回帰モデルの応用例が多いことは、産業分野における人工知能技術の利用の重要な特徴です。多くの記事で回帰モデルが紹介されていますが、多くの場合、特定のアルゴリズムの導入や系統的な帰納法の欠如に焦点が当てられています。

このため、関係する専門家が回帰モデルの全体的な技術的枠組みを理解できるように、回帰モデルに関連する技術的問題を整理するためにこの記事を特別に作成しました。この記事の次の部分では、次の内容について説明します: まず、回帰の概念をその違いと「フィッティング」との関係を含めて紹介します。次に、最小二乗法から始まる一連の古典的な回帰手法を紹介し、一般的な計算を紹介します。回帰モデル手法の評価、最後にすべての手法を要約し、実際の産業インテリジェンス実務者がニーズに応じてモデルを選択できるようにその機能を比較します。

回帰の定義

統計学において、回帰分析とは、2 つ以上の変数間の定量的な関係を決定するための統計分析方法を指します。-百度百科事典

「回帰」という用語は、ダーウィン (進化論を提唱した) のいとこであり、英国の有名な生物学者で統計学者であるゴルトンによって最初に提案されました。彼は、両親の身長が平均より著しく高い場合、その子孫は一般に親よりも低くなる一方、身長が平均より著しく低い親は統計的に親よりも高い背景を持っていることを発見した。彼はこの法則を、人間の子孫の身長が平均値に「戻る」傾向であると説明し、したがって「回帰」という言葉を使いました。この逸話で注目すべきは、「回帰」という概念が統計学の分野から生まれたということです。ある意味、回帰は、特定の統計的確率に最もよく適合する変数間の定量的な関係を求めることであると言えます。主に以下の問題を解決します。

1. いくつかの特定の変数間に相関があるかどうかを判断し、相関がある場合は、それらの間の適切な数式を見つけます。
2. 1 つまたは複数の変数の値に従って、別の変数の値を予測または制御し、この予測または制御がどの程度の精度を達成できるかを把握します。

回帰の概念に非常に近い数学的概念は「カーブ フィッティング」です。これら 2 つの概念でカバーされる実際の計算手法は重複する部分が多いため、多くの場合、これらを区別せずに同じものとして扱います。以下の場合を除いて、ほとんどの場合、これで問題ありません。

1. 回帰分析には事前モデルは必要なく、データの特性やさまざまな最適化目標に応じてさまざまな表現方法を選択できます。カーブ フィッティングには通常、先験的なモデルがあるため、フィッティングの主なタスクは、そのモデルに適切なパラメータを決定することです。これがフィッティングという言葉の意味でもあります。
2. 回帰分析は統計に基づいているため、データ間の関係を取得するだけでなく、通常、関係を決定する以外に、データ間に存在するランダム残差の統計的特性など、この関係の統計的特性を推定する必要があります。カーブフィッティングのタスクは、通常、その偏差が最小になるように妥当なパラメータを計算することだけです。
3. 描くべき曲線が存在しない一部の問題では、サンプリングされたデータから統計分布の固有値を計算するなど、そのような場合の用語では曲線当てはめではなく回帰が使用される傾向があります。

さまざまな形式の回帰モデル

回帰モデルはさまざまな形式で表現でき、形式が異なれば機能、パフォーマンス、解決方法も異なることがよくあります。

一般に、回帰モデルは次の 3 つのカテゴリに分類できます。

1. 解析モデル
2. ノンパラメトリックモデル
3. ニューラルネットワーク

もちろん、これらのモデルはそれぞれ、さらに多くのサブカテゴリーに分割できます。以下、一つずつご紹介していきます。

解析モデル（パラメトリックモデル）

明らかに、分析モデルとは、数式で表現できるモデルを指します。この種のモデルは、「回帰」について話すときに私たちが最初に考える形式です。学生は授業で最もよくそれにさらされ、学者は研究でそれを構築することを最も望んでいます。これは科学的表現の最も簡潔で説得力のある表現形式です。法律。

しかし、現実において解析モデルで解決できる問題はそれほど多くありません。分析式を使用してキルト
や面を表す方法を想像してください。おそらく、単純化するために、キルトは平面、またはより複雑には 2 次元多様体に単純化されますが、ほとんどの人にとって、面を球に単純化するのは難しいかもしれません。

このような制限にもかかわらず、産業分野では回帰問題を解決するために分析モデルを使用することが依然として一般的かつ効果的です。これは、この分析モデルが他の回帰モデルと比較して産業分野で高く評価されている 3 つの特徴を備えているためであり、これらの特徴のおかげで、比較的単純なアプリケーション シナリオでの使用に非常に適しています。

1. 分析モデルに必要なデータ量は少なくなります。
2. 分析モデルは、データの法則に関する事前の認識をある程度具体化します。
3. 分析モデルのパラメーターが決定されると、そのモデルを使用して新しい入力を解決するのが非常に速くなります。

分析モデルは大きく次の 2 種類に分類できます。

1. 線形パラメトリック関数の和の形式
2. 他の

最初のタイプの分析モデルは、多くの独立変数の関数の合計で構成され、合計の各項目には 1 つの線形重み付け関数しかありません。他のモデルは、指数回帰など、そのような特性を持たないモデルを指します。このローレンツ関数モデルでは、観測変数間の関係がこの法則に従うことが正確にわかっている場合、式 (1) の 2 つのパラメーターの関数曲線とサンプリングされたデータに基づくガウス誤差を解く必要があります

。サンプリングされたデータの形状は、特定のパラメータの下では次のようになります。

— 以下の数式を注意深く読む必要はありません。この作業の複雑さを説明したいだけです。

このような関数のパラメーターを解くのはそれほど簡単ではなく、ニュートン法、ニュートンの下り坂法、または勾配降下法などの用語を思い出させます。ここでは勾配降下法を例に挙げます。勾配降下は、一般に最急降下とも呼ばれます。勾配降下法を使用して関数の極小値を見つけるには、関数上の現在の点に対応する勾配 (または近似勾配) の反対方向に指定されたステップ距離の点を繰り返し検索する必要があります。回帰問題では、この関数の独立変数は係数です。必要な係数を繰り返し計算する勾配降下法。その具体的な手順は次のとおりです。

ローレンツ関数の計算結果と測定結果の差は、MSE という形式の損失関数として表されます。式 2 に示すように、

未定係数の値が正しい場合、上記の損失関数の最小値は 0 になります。このとき、各係数に対する損失関数の偏導関数はゼロとなる。したがって、各係数に対する損失関数の偏導関数を計算する必要があるため、各パラメータの偏導関数の形は次のように記述する必要があります。 これを踏まえて、まず要求するパラメータを初期化します

。すべての値を 1 に割り当ててから、勾配降下法計算のステップ サイズを定義します (設定は 0.01 など)。次に、上記の式 3、4、5 を使用して勾配を繰り返し計算し、指定されたステップ サイズで初期値を調整して、パラメーターを徐々に適切な値に近づけます。上記の設定では、3 つのパラメーター変更軌跡の 50 ステップの反復は次のようになります。

この例では、パラメーターは理論値 (array([2.99990868,2.00008539, 3.9999999 ] ) ) に近づくまで正しく反復されていますが、このメソッドは実際には非常に脆弱です。まず、このような複合形式を実際の問題で定義するのは非常に難しく、たとえこのような形式であっても、不適切な初期値やステップサイズ、不適切な計算方法が解法に使用されると、解決することが困難になります。安定した結果を取得します。興味のある友人は、上記の式に基づいて初期値とステップ サイズを変更してみると、異なる結果が簡単に確認できます。

したがって、最初のモデルには次の 2 つの重要な機能があるため、業界では最初のモデルの方がアプリケーションで使用されます。

1. 多数の（連続）関数を特定の値の範囲（または特定の近傍）に適合させることができます。
2. このモデルは解くのが簡単です。

まずは1つ目の特徴について説明します。高度な数学におけるテイラー展開を振り返ると、そのような多項式の性質を理解できるはずです。これは、データの適合に使用されるモデルの項を決定するのにも役立ちます。より小さいべき乗の項が優先され、より高次の項が適応的に追加される必要があります。テイラー展開と同様、べき乗が大きい項の係数は小さくなる可能性があります。そして一般的なケースでは、反対の結果が得られた場合は、さらなる予備知識なしで何かが間違っているかどうかを確認するときが来ます。

次に、多項式の 2 番目の特徴について説明します。一般に、最も一般的に使用される解法は最小二乗法です。統計理論は、最小二乗法が特定のサンプルとマッピング形式で最尤推定を実現することを証明できます。誤差の二乗和を形式的に最小化することにより、結果としてデータ誤差が最小化され、この解決策も非常に便利になります。元々は、正確な解のない多変量線形方程式を推定するために使用されましたが、実際には、多項式の各項目に乗算パラメータが 1 つだけある限り、この形式は求められるパラメータに対して線形であるため、最小二乗法も次のように使用できます。これらのパラメータの最適な値を推定します。

多項式係数を解くために実際に最小二乗法が使用される場合、サンプルサイズを持つ巨大な行列の逆行列の計算はコストが高すぎるため、通常は行列形式で解くためには使用されません。行列の SVD 分解によって解を取得します。

線形パラメータ関数の合計の形式は、産業分野における回帰問題の大部分を解決できます。ただし、一部の特定のアプリケーション シナリオには特定の要件が存在することが多く、これらの要件はモデリングからソリューションに至る分析モデルのさまざまな段階に反映される場合があります。例えば：

1. 不確実な事前関係: 実際の産業シナリオで遭遇するデータには多くの変数が含まれることが多く、これらの変数を使用してモデリングすると、このモデル形式でかなりの数の項が生成されます。実際、二次項のみを取る場合、n 個の変数に対して Cn2 + n 個の項が存在します。たとえば、n = 10 ですが、これは産業シナリオでは珍しいことではありません。これらの変数をモデル化するために有理 2 次多項式が選択された場合、55 の 2 次項が存在します。これらの 2 次項の多くは実際には不要であることはわかっていますが、どの項を使用すべきかがわからないこともよくあります。この一般的な状況により、一般的な事前フォームが与えられた場合、冗長項目を含まない比較的具体的で比較的正確なフォームが回帰モデリングによって取得できることが期待されます。

この期待は数学的な形式で表現され、モデル損失関数の定義 (正則化項の追加) に反映される場合もあれば、解法プロセスにのみ反映される場合もあります。さまざまな要件を追加してそれらを解決することで、非常に異なるパラメーター値を持つ解析モデルを取得できます。正則化された分析モデルの一部では、多数の合計項のパラメーターがゼロに設定されているため、比較的コンパクトな式モデルが得られます。たとえば、一般的なラッソ回帰、エラスティック ネットワーク回帰、スパース回帰はすべてこの概念を表しています。異なる正則化項の定義は、一方では特定の事前知識を表し、他方ではパラメータの解法も変更することに注意してください。たとえば、ラッソ回帰では解法に最小角度アルゴリズムが使用されます。これらの解決方法にはさまざまな利点と欠点があり、最終的なモデリングの品質に影響します。

2. ターゲット変数を独立変数から分離するのは困難です。これは、産業シナリオでは一般的な状況でもあります。たとえば、特定の材料の 2 次元破壊性能の機械的テストでは、一般に、2 つの主応力が水平軸と垂直軸である画像上に楕円形の形状が表示されます。この状況には、ターゲット変数と独立変数を分離することが困難な 2 つの状況が含まれています。一方で、これら 2 つの方向の力変数間の関係は楕円を示します。これは、目的変数と独立変数が陰関数の式を構成することを意味するため、次の形式で回帰モデルを考慮する必要があります。陰関数; 一方、異なる応力状態では、たとえば、2 つの方向に張力がかかっている場合、または 2 つの方向に同時に圧力がかかっている場合、2 つの変数間の関係は同じではなく、同じ回帰モデルになります。が使用できないため、後述する区分関数モデルとは異なる区分関数による回帰モデルの構築という問題が発生します。区分関数モデルによるデータの分割はアプリオリに明らかであり、主な問題はセグメント間の回帰モデルの連続性。ビジネスに密接に関係するこれらの特定の状況に対する統一された解決策はなく、実際のビジネスとモデルの数学的特性に従って対応する解決策を提供する必要があります。

統計ベースのノンパラメトリック モデル

分析モデルは確かに強力な回帰パラダイムですが、次の 3 つの側面など、いくつかの欠点もあります。

1. このモデリング手法は主に大域的なデータ フィッティングに使用され、局所的な特殊なデータを扱うのは難しいことがよくあります。
2. 実際の回帰問題を解く場合、特定の分析形式はデータの明確な以前の形式を指定するのと同じであり、実際の状況と一致しない可能性があります。たとえば、多項式形式のモデルの場合、データ間の関係が連続的であるか、微分可能であることを意味します。ただし、実際の状況はこの想定を満たしていない可能性があります。
3. 分析モデルによって与えられる回帰結論は通常は確実ですが、変数間の関係に存在する可能性のある統計情報の説明が欠けていることがよくあります。確率密度関数を使用してサンプル データのセットの統計的特性を構築した場合でも、最終的な確率密度関数と実際のデータ分布の間の一致度は通常表現できません。

このため、これらの問題を解決するために、統計に基づく多くのノンパラメトリック回帰モデルが提案されています。ノンパラメトリック回帰モデルは、ノンパラメトリック回帰モデルとも呼ばれます。この種のモデルでは、ユーザーが変数間の関係の非常に具体的な事前形式を提供する必要はありませんが、一般的なデータ分布法則とサンプル データに基づいてモデルを構築します。多くのインテリジェント回帰モデルは、順序保存回帰、決定木回帰などのノンパラメトリック モデルに分類できます。2 つの代表的なモデル フレームワークは、ガウス過程回帰 (GPR) と局所多項式回帰 (LPR) です。

ガウス過程回帰 (GPR) は、ガウス過程 (GP) 事前分布を使用してデータの回帰分析を実行する
ノンパラメトリック モデルです。

ガウス過程（ガウス過程、GP）とは、確率論および数理統計における確率過程の一種であり、正規分布に従う一連の確率変数（確率変数）を指数集合（インデックスセット）に組み合わせたものである。

ガウス過程回帰は、1996 年に 2 人の学者によって体系的な説明と対応する解法とともに提案されましたが、その変形、または特定の分野における実用的な手法として 50 年以上存在しています。工業製品の研究開発に関連する技術者が、isight などの最適化設計ソフトウェアを使用して最適な設計スキームを解決する場合、シミュレーション計算にコストがかかりすぎ、反復的な最適化プロセスが遅くなるという問題に遭遇します。この問題を解決するために、多くの場合、クリギングと呼ばれるサロゲート モデルを使用して、シミュレーション計算を部分的に置き換えます。このクリギング手法は、地球統計におけるガウス過程回帰の実装です。

この記事は産業用インテリジェント製造の実務者を対象としているため、ここではガウス過程回帰の数学的プロセスについては詳しく説明しませんが、この回帰アルゴリズムの特徴のみを紹介します。

1. ガウス過程回帰によって暗示される事前分布は、回帰される関数が (多変量) ガウス過程であるということです。
2. ガウス過程回帰では、変数間に存在する相関関係は、変数の共分散によって定義されます。一般に、この共分散行列は動径基底カーネル関数で表されます。これは、サンプル ポイントの外側の未知のデータに対する解が、データと各サンプル ポイントの間の距離、通常はサンプル ポイントによって提供される情報に基づいて決定されることを意味します。それに近づくほど重みが大きくなります。つまり、隣接する点の補間と同様のアルゴリズムです。
3. 2 番目の特性に基づいて、より正確なモデルのパフォーマンスは、値の範囲内のサンプル データの十分なサンプリングから得られると推測できます。
4. 2 番目の特徴に基づいて、モデルの内挿パフォーマンスが優れていると推測できますが、外挿パフォーマンスを保証することは困難です。
5. 実際のフィッティング計算では、毎回カーネル関数を用いて解析対象変数とサンプル変数との共相関行列を計算する必要があるため、計算量が比較的多くなります。

局所多項式回帰法は名前からわかるように、異なる局所領域に適合させるために異なる多項式を使用します。アルゴリズムは、各領域の多項式カバレッジが一般的により高いフィッティング精度を得ることができるように、データを適切に分割することを望んでいます。モデルの構築後、このアルゴリズムの各領域の予測の計算の複雑さはガウス過程回帰アルゴリズムより明らかに少なく、その精度はグローバル多項式回帰の精度よりも優れています。局所多項式回帰は比較的良い妥協策であるように見えますが、この方法のモデル解は比較的扱いにくく、そのパフォーマンスは多くのパラメーターによって影響されるため、モデラーのスキルには一定の要件があります。ただし、このメソッドは、組み込みのローカル多項式関数ノードを使用して、Merrill Data の Tempo AI およびその他の製品を呼び出すことによって直接呼び出すことができます。

回帰用のニューラル ネットワーク モデル

人工知能の発展により、ニューラル ネットワークの大きな可能性が実証されました。したがって、従来の回帰モデリング手法に加えて、ニューラル ネットワーク手法を使用して回帰モデルを構築することも検討する必要があります。従来の回帰手法に対するニューラル ネットワーク モデルの大きな利点の 1 つは、非常に柔軟なフィッティング機能を備えているため、複雑な変数間の関係を表現できることです。しかしその一方で、ニューラル ネットワーク モデルの構築には、大量のトレーニング サンプル データが必要であるなどのいくつかの制限もあります。たとえば、事前知識には、追加する以外に、より優れたメカニズムやデータ融合戦略がありません。コスト関数の項目であり、ニューラル ネットワークの計算の複雑さは通常比較的高くなります。

このことから、現在、回帰モデル構築の分野におけるニューラル ネットワークの使用は普及していません。
回帰モデルの構築に使用される比較的一般的なニューラル ネットワークは、rbf ニューラル ネットワーク モデルです。これは、動径基底関数 (通常、ガウス関数) を活性化関数として、サンプル数を出力として持つ固定 3 層ネットワーク モデルを使用します。ニューロンの数。この種のニューラル ネットワーク モデルは、実際には、現在の一般的な BP ニューラル ネットワークとはまったく異なり、ガウス過程回帰の原理に近いものです。J.-P. Costa らの研究によると、rbf ニューラル ネットワークのパフォーマンスは、実際の使用ではガウス過程回帰よりわずかに劣ります。

回帰モデルの評価: 数学的要件とビジネス要件

回帰モデルの評価には一般に次のような方向性があります。

1. サンプルデータでのモデルのパフォーマンス

サンプルデータに誤差が含まれていない場合、この差はできるだけ小さくする必要があると考えられます。一般回帰モデルは、上記の式 (2) でも使用した平均二乗誤差を使用してこの差を説明します。

平均二乗誤差 (平均二乗誤差、MSE) は、推定量と推定量の間の差異の程度を反映する尺度です。標本に従って決定された母集団パラメータ θ の推定量を t とし、(θ-t)2 の数学的期待値を推定量 t の平均二乗誤差と呼びます。これは σ2+b2 に等しくなります。ここで、σ2 と b はそれぞれ t の分散とバイアスです。

実際、この評価基準はモデルのパフォーマンスを測定するために使用されるだけではなく、通常、MSE は回帰モデルを解くための直接の最適化目標です。したがって、モデルの基本形式が決まると、その基本形式で決まるオプション関数群の中で最小の MSE が得られる解結果になります。

サンプル データにエラーが含まれている場合、MSE は通常 0 ではありませんが、vc 次元が高い解析モデルや層数の多いニューラル ネットワークを選択すると、サンプルに含まれるノイズをノイズの一部と誤認する可能性があります。法則を回帰モデルに組み込むと、過剰適合が形成されます。この場合、MSE がゼロまたは非常に小さい場合、過学習が発生しているのか、サンプル データの規則性が十分に強いのかがわからないことがよくあります。このためには、他の標準も導入する必要があります。

2. 未知のデータに対するモデルのパフォーマンス

回帰モデルが過学習しているかどうかを特定するには、トレーニング セットとテスト セットを導入する必要があります。これら 2 つの概念は、機械学習の発展とともに多くの人々に馴染みのあるものになりました。簡単に言うと、トレーニング セットとテスト セットはサンプル データからランダムに抽出され、同じ統計的分布特性を持ち (したがってサンプル数が十分に大きい必要がある)、2 つのデータ セット間に重複はありません。それらの組み合わせがサンプルセット全体となります。

回帰モデルを構築するときはトレーニング セットのデータのみを使用し、モデルの構築後にモデルを評価するときは、トレーニング セットとテスト セットのデータを別々に使用して、2 つのデータ セットのパフォーマンスを比較します。同じ回帰モデル (MSE など) の違い。2 つのデータ セットがモデル上で同様のパフォーマンスを示している場合、モデルは過学習ではないと言えます。逆に、モデル上のトレーニング セット データの MSE 値が低く、モデル上のテスト セット データの MSE 値が高い場合、モデルは過適合です
。オーバーフィットしたモデルはまったく使用できないことに注意することが重要です。通常、それは現実を導く重要な意味を持ちません。

場合によっては、取得したサンプル データが限られた範囲の値にのみ制限されることがありますが、これは工業生産ではよくあることです。この限られた値範囲を通じて、他の値範囲のターゲット変数の状況を推測したいと考えています。そのため、サンプルセットを分割してモデルが過適合していないことを確認することに加えて、モデルのカバレッジを調査することも必要です。サンプルデータの値の範囲外の性能と範囲内の性能の差。つまり、サンプル統計分布区間で外挿するモデルの能力です。直観的には、分析モデルには平均二乗誤差 (平均二乗誤差、MSE) があり、ノンパラメトリック モデルと比較して、推定量と推定量との間の差異の程度を反映する尺度です。標本に従って決定された母集団パラメータ θ の推定量を t とし、(θ-t)2 の数学的期待値を推定量 t の平均二乗誤差と呼びます。これは σ2+b2 に等しくなります。ここで、σ2 と b はそれぞれ t の分散とバイアスです。

外挿パフォーマンスは向上しますが、これにはモデルが本質的に分析形式で変数関係を表現する必要があります。これを検証するのは簡単ではありません。さらに、既知のデータが区間に分割されている場合でも、意図的にカバーされた値の範囲で得られたモデルの外挿パフォーマンスしか知ることができず、未知の値の区間での実際の外挿パフォーマンスはわかりません。状況によっては、データ アナリストやビジネス専門家が特定の問題について具体的な分析を行う必要があります。

3. モデルの計算の複雑さ

エンジニアリングの実践に基づいて、私たちは得られた回帰モデルが迅速に計算され、結果が正確であることを常に望んでいます。しかし、現実は両方を兼ね備えることを許さないことがよくあります。これには、回帰モデルの計算の複雑さが関係します。アルゴリズムコースでは、計算量を時間計算量と空間計算量の 2 つのカテゴリに分類します。ただし、モデルの構築に関しては、さらに次のような考慮すべき側面があります。

• モデル構築時の計算量（時間、空間）
• モデル使用時の計算量（時間、空間）
• モデルのサンプル データ量の要件

モデルの種類が異なると、上記の 3 つの側面でパフォーマンスに多少の違いがあります。ただし、モデルの構築は通常オフラインで行われ、数も限られているため、モデルの使用頻度は高く、時間も制限されることがよくあります。したがって、一般に、モデル使用の計算の複雑さに焦点を当てます。ただし、インテリジェントマニュファクチャリングの分野では、データの取得が難しいという現実に基づいて、通常、サンプルデータの量に対するモデルの要件が重要な考慮事項となります。

モデルの選択

最後に、上記の回帰モデルの形式、解決の難易度、パフォーマンス特性などを要約し、次の選択に関する推奨事項を示します。