Methode
Die Merkmalswichtigkeit bezieht sich auf den Grad des Einflusses des Merkmals auf die Zielvariable, dh auf den Grad der Wichtigkeit des Merkmals im Modell. Es gibt viele Möglichkeiten, die Wichtigkeit von Funktionen zu beurteilen. Hier sind einige häufig verwendete Methoden:
1. Die Bedeutung von Features basierend auf dem Baummodell: Modelle wie Random Forest und Gradient Boosting Tree können berechnen, wie oft jedes Feature im Baummodell verwendet wird oder wie wichtig es für die Aufteilung ist. , um die Wichtigkeit von zu messen Merkmale.
2. Die Bedeutung von Merkmalen basierend auf linearen Modellen: Modelle wie die lineare Regression (lineare Regression) können die Bedeutung von Merkmalen messen, indem sie den Koeffizienten jedes Merkmals berechnen.
3. Merkmalsbedeutung basierend auf der Merkmalsauswahl: Methoden wie Varianzanalyse (ANOVA) und gegenseitige Information (Mutual Information) können wichtige Merkmale auswählen, indem sie die Beziehung zwischen Merkmalen und Zielvariablen analysieren.
4. Merkmalswichtigkeit basierend auf dem neuronalen Netzwerk: Beispielsweise wird die Wichtigkeit von Merkmalen gemessen, indem die Empfindlichkeit jedes Merkmals im neuronalen Netzwerk gegenüber der Ausgabe berechnet wird.
5. Die SHAP-Wertmethode (SHapley Additive exPlanations) ist eine Methode zur Erklärung der Vorhersageergebnisse des Modells und kann zur Bewertung des Beitrags jedes Merkmals zu den Vorhersageergebnissen verwendet werden. Die SHAP-Wertmethode basiert auf dem Konzept des Shapley-Werts, einer auf der Spieltheorie basierenden Methode zur Bewertung der Merkmalsbedeutung.
Mit der SHAP-Wertmethode kann für jedes Merkmal ein SHAP-Wert generiert werden, der den Grad des Einflusses des Merkmals auf das Vorhersageergebnis einer bestimmten Stichprobe angibt. SHAP-Werte können mit verschiedenen Modellen berechnet werden, darunter lineare Modelle, Baummodelle, neuronale Netze und mehr.
Der Vorteil der SHAP-Wertmethode besteht darin, dass sie die Interaktion zwischen Merkmalen berücksichtigen und gleichzeitig für verschiedene Modelltypen interpretieren kann. Die SHAP-Wertmethode weist jedoch auch einige Einschränkungen auf, z. B. eine hohe Rechenkomplexität, und es kann schwierig sein, hochdimensionale Daten und komplexe Modelle zu interpretieren.
Es ist zu beachten, dass unterschiedliche Methoden zur Merkmalsbedeutung für unterschiedliche Modelle und Datentypen geeignet sind und die Auswahl der geeigneten Methode entsprechend der tatsächlichen Situation ausgewählt werden muss. Gleichzeitig bezieht sich die Feature-Wichtigkeit nur auf die Wichtigkeit des Features im Modell und kann nicht zur Beurteilung verwendet werden, ob das Feature nützlich ist oder ob es durch Feature-Engineering verarbeitet werden muss.
2. Vor- und Nachteile
Hier sind die Vor- und Nachteile jedes Ansatzes:
Methode zur Funktionsauswahl:
Vorteil:
Funktionen, die einen größeren Einfluss auf die Modellleistung haben, können schnell herausgefiltert werden, um den Rechenaufwand zu senken;
Einfach zu verstehen und leicht zu erklären.
Mangel:
Interaktionen zwischen Features können nicht berücksichtigt werden;
In Fällen, in denen weniger Funktionen erhalten bleiben, können einige Informationen verloren gehen.
Baumbasierter Ansatz:
Vorteil:
Interaktionen zwischen Features können berücksichtigt werden;
Die Ergebnisse sind leicht zu interpretieren und für jedes Merkmal kann eine Wichtigkeitsbewertung vergeben werden;
Der Beitrag jedes Merkmals im Modell kann durch Visualisierung verstanden werden.
Mangel:
Beim Umgang mit hochdimensionalen, spärlichen Daten können Probleme auftreten.
Bei starken Korrelationen zwischen Merkmalen können Fehler auftreten;
Modellbasierter Ansatz:
Vorteil:
Interaktionen zwischen Features können berücksichtigt werden;
Anwendbar auf verschiedene Arten von Daten.
Mangel:
Erfordert normalerweise mehr Rechenressourcen;
Ergebnisse können durch Korrelationen zwischen Merkmalen beeinflusst werden;
Die Ergebnisse können durch die Wahl des Modells beeinflusst werden.
SHAP-Wertmethode:
Vorteil:
Fähigkeit, den Beitrag jedes Merkmals zu jeder Stichprobe zu berücksichtigen;
Fähigkeit, Korrelationen zwischen Merkmalen zu verarbeiten;
Der Einfluss jedes Merkmals auf die Modellausgabe kann zur einfachen Interpretation visualisiert werden.
Mangel:
Erfordert mehr Rechenressourcen;
Die Ergebnisse können durch die Wahl und die Parameter des Modells beeinflusst werden.
Kurz gesagt, jede Methode hat ihre Vor- und Nachteile, und die Wahl der geeigneten Methode sollte anhand der spezifischen Probleme und Dateneigenschaften bestimmt werden. Gleichzeitig ist auch zu beachten, dass die Merkmalsbedeutung nur ein Teil der Modellinterpretation ist und die Modellbewertung und -anpassung nicht vollständig ersetzen kann.
3. Beispiele
Unter Merkmalswichtigkeitsanalyse versteht man die Bewertung des Einflusses jedes Merkmals auf die Vorhersageergebnisse des Modells im Modell für maschinelles Lernen. Im Folgenden sind einige häufig verwendete Methoden zur Analyse der Merkmalsbedeutung und entsprechende Beispiele aufgeführt:
Merkmalswichtigkeitsanalyse basierend auf dem Baummodell:
In Baummodellen wird die Feature-Wichtigkeit normalerweise gemessen, indem gemessen wird, wie oft jedes Feature als Knotenaufteilung ausgewählt wurde. In einem Zufallsstrukturmodell können Sie beispielsweise das Attribut „feature_importances_“ in der scikit-learn-Bibliothek verwenden, um die Wichtigkeit jedes Features wie folgt zu ermitteln:
from sklearn.ensemble import RandomForestRegressor
from sklearn.datasets import make_regression
X, y = make_regression(n_features=4, random_state=0)
rf = RandomForestRegressor(random_state=0)
rf.fit(X, y)
print(rf.feature_importances_)
# array([0.18146984, 0.36514659, 0.37589063, 0.07749294])
Dies bedeutet, dass das 2. und 3. Merkmal einen größeren Einfluss auf die Vorhersageergebnisse des Modells haben.
Feature-Wichtigkeitsanalyse basierend auf einem linearen Modell
In linearen Modellen kann die Größe der Koeffizienten verwendet werden, um die Bedeutung jedes Merkmals einzuschätzen. Beispielsweise kann im Ridge-Regressionsmodell das coef_-Attribut in der scikit-learn-Bibliothek verwendet werden, um die Koeffizientengröße jedes Merkmals wie folgt zu erhalten:
from sklearn.linear_model import Ridge
from sklearn.datasets import make_regression
X, y = make_regression(n_features=4, random_state=0)
ridge = Ridge(alpha=1.0)
ridge.fit(X, y)
print(ridge.coef_)
# array([28.70881903, 74.85495747, 90.56271467, 11.61467289])
Dies bedeutet, dass das dritte Merkmal einen größeren Einfluss auf die Vorhersageergebnisse des Modells hat.
Feature-Wichtigkeitsanalyse basierend auf neuronalen Netzwerken:
In neuronalen Netzen kann die Wichtigkeit jedes Merkmals bewertet werden, indem der Backpropagation-Algorithmus verwendet wird, um den Gradienten jedes Merkmals zur Verlustfunktion zu berechnen. In PyTorch kann beispielsweise die Gradientengröße für jedes Feature wie folgt berechnet werden:
import torch
import torch.nn as nn
from torch.autograd import Variable
X = torch.randn(10, 4)
y = torch.randn(10, 1)
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.fc = nn.Linear(4, 1)
def forward(self, x):
x = self.fc(x)
return x
net = Net()
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(net.parameters(), lr=0.01)
inputs = Variable(X)
labels = Variable(y)
for i in range(100):
optimizer.zero_grad()
outputs = net(inputs)
loss = criterion(outputs, labels)
loss.backward()
print(net.fc.weight.grad.abs().mean(dim=1))
optimizer.step()
Geben Sie die Größe des Gradienten für jedes Feature wie folgt aus:
tensor([0.2078, 0.4516, 0.3481, 0.3676])
tensor([0.1563, 0.4035, 0.3115, 0.3285])
tensor([0.1156, 0.3644, 0.2788, 0.2937])
...
Dies bedeutet, dass das zweite Merkmal den größten Gradienten der Verlustfunktion aufweist und daher einen größeren Einfluss auf die Vorhersageergebnisse des Modells hat.
Feature-Wichtigkeitsanalyse basierend auf Modellunsicherheit:
In einigen Modellen kann die Modellunsicherheit verwendet werden, um die Bedeutung jedes Merkmals zu bewerten, z. B. zufällige neuronale Netze (zufällige neuronale Netze) und Monte-Carlo-Dropout. In einem Monte-Carlo-Dropout-Modell kann beispielsweise die Standardabweichung der Dropout-Schicht verwendet werden, um die Wichtigkeit jedes Merkmals wie folgt zu bewerten:
import torch
import torch.nn as nn
from torch.autograd import Variable
X = torch.randn(10, 4)
y = torch.randn(10, 1)
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.fc1 = nn.Linear(4, 10)
self.dropout = nn.Dropout(p=0.5)
self.fc2 = nn.Linear(10, 1)
def forward(self, x):
x = nn.functional.relu(self.fc1(x))
x = self.dropout(x)
x = self.fc2(x)
return x
net = Net()
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(net.parameters(), lr=0.01)
inputs = Variable(X)
labels = Variable(y)
for i in range(100):
optimizer.zero_grad()
outputs = net(inputs)
loss = criterion(outputs, labels)
loss.backward()
print(net.dropout.std(dim=0))
optimizer.step()
Dadurch wird die Standardabweichung jedes Merkmals wie folgt ausgegeben:
tensor(0.4332)
tensor(0.4606)
tensor(0.4387)
tensor(0.4668)
Das bedeutet, dass das 4. Merkmal die größte Standardabweichung aufweist und daher einen größeren Einfluss auf die Vorhersagen des Modells hat.
Merkmalswichtigkeitsanalyse basierend auf univariater Merkmalsanalyse:
Diese Methode analysiert die Bedeutung jedes Merkmals, indem für jedes Merkmal eine univariate Analyse durchgeführt wird, beispielsweise mithilfe eines T-Tests oder einer ANOVA. Beispielsweise können wir die Scikit-learn-Bibliothek von Python verwenden, um die Beziehung zwischen jedem Feature und der Ausgabe zu berechnen:
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression
from sklearn.feature_selection import f_regression
X, y = make_regression(n_samples=100, n_features=5, n_informative=2, random_state=42)
model = LinearRegression()
model.fit(X, y)
f_values, p_values = f_regression(X, y)
for i in range(len(X[0])):
print('Feature %d: f-value=%.2f, p-value=%.2f' % (i+1, f_values[i], p_values[i]))
Dadurch werden der f-Wert und der p-Wert für jedes Merkmal wie folgt ausgegeben:
Feature 1: f-value=56.47, p-value=0.00
Feature 2: f-value=114.10, p-value=0.00
Feature 3: f-value=0.80, p-value=0.38
Feature 4: f-value=0.01, p-value=0.94
Feature 5: f-value=1.54, p-value=0.22
Dies weist darauf hin, dass das 1. und 2. Merkmal die stärkste Beziehung zur Ausgabe haben und somit einen größeren Einfluss auf die Vorhersagen des Modells haben.
Im Allgemeinen ist die Feature-Wichtigkeitsanalyse eine sehr wichtige Aufgabe beim maschinellen Lernen, die uns helfen kann, zu verstehen, wie Modelle Entscheidungen treffen, und Leitlinien für das Feature-Engineering bereitzustellen. Für unterschiedliche Modell- und Datentypen sind unterschiedliche Methoden geeignet und müssen im Einzelfall ausgewählt werden.
6. Methode basierend auf dem Formwert
SHAP (SHapley Additive exPlanations) ist eine Methode zur Erklärung der Vorhersageergebnisse des Modells. Es erklärt den Vorhersageprozess des Modells, indem es die Auswirkung jedes Merkmals auf die Vorhersageergebnisse berechnet. Die auf dem SHAP-Wert basierende Methode kann zur Beurteilung der Wichtigkeit von Merkmalen verwendet werden. Die spezifischen Schritte sind wie folgt:
Berechnen Sie den SHAP-Wert für jede Stichprobe
Mithilfe der SHAP-Methode wird für jede Stichprobe der Einfluss jedes Merkmals auf das Vorhersageergebnis der Stichprobe berechnet, um den SHAP-Wert der Stichprobe zu erhalten. Dieser Prozess kann mithilfe vorgefertigter SHAP-Bibliotheken implementiert werden, z. B. der Shap-Bibliothek von XGBoost, der lightgbm.plotting-Bibliothek von LightGBM usw.
Durchschnittlicher SHAP-Wert statistischer Merkmale
Für jedes Merkmal werden die SHAP-Werte aller Stichproben summiert und durch die Anzahl der Stichproben dividiert, um den durchschnittlichen SHAP-Wert für dieses Merkmal zu erhalten. Je größer der durchschnittliche SHAP-Wert ist, desto größer ist der Einfluss des Merkmals auf die Ergebnisse der Modellvorhersage, d. h. desto wichtiger ist das Merkmal.
Visualisieren Sie SHAP-Werte von Features
Sie können SHAP-Visualisierungstools wie Zusammenfassungsdiagramme, Abhängigkeitsdiagramme usw. verwenden, um den durchschnittlichen SHAP-Wert jedes Features und den Einfluss des Features auf das Vorhersageergebnis visuell anzuzeigen. Durch diese Visualisierungstools ist es möglich, ein tieferes Verständnis für die Bedeutung der einzelnen Funktionen zu gewinnen.
Es ist zu beachten, dass die SHAP-Wertmethode auf jedes Modell des maschinellen Lernens anwendbar ist, einschließlich linearer Modelle, Baummodelle, neuronaler Netze usw. Darüber hinaus kann die SHAP-Wertmethode im Vergleich zu anderen Methoden zur Bewertung der Merkmalswichtigkeit genauere und intuitivere Ergebnisse zur Bewertung der Merkmalswichtigkeit liefern.
Im Folgenden finden Sie einen Beispielcode für die Bewertung der Funktionswichtigkeit mithilfe der XGBoost-Bibliothek und der SHAP-Bibliothek:
import xgboost
import shap
# 加载数据集
X, y = shap.datasets.boston()
# 训练XGBoost模型
model = xgboost.train({"learning_rate": 0.01}, xgboost.DMatrix(X, label=y), 100)
# 计算每个样本的SHAP值
explainer = shap.Explainer(model)
shap_values = explainer(X)
# 统计特征的平均SHAP值
mean_shap_values = shap_values.mean(axis=0)
# 可视化特征的SHAP值
shap.summary_plot(mean_shap_values, X)
In diesem Beispiel haben wir ein Regressionsmodell mithilfe der XGBoost-Bibliothek trainiert und SHAP-Werte für jedes Feature mithilfe der SHAP-Bibliothek berechnet. Schließlich haben wir das zusammenfassende Diagramm des SHAP-Visualisierungstools verwendet, um den durchschnittlichen SHAP-Wert jedes Features anzuzeigen und den Einfluss des Features auf die Vorhersageergebnisse zu visualisieren.
Neben der Verwendung von summary_plot zur Visualisierung des SHAP-Werts des Features bietet die SHAP-Bibliothek auch viele andere Visualisierungstools wie Abhängigkeitsdiagramme, Kraftdiagramme usw., um ein tieferes Verständnis der Auswirkungen jedes Features auf das Modell zu erlangen Vorhersageergebnisse.
Im Folgenden finden Sie einen Beispielcode, der mithilfe eines Abhängigkeitsdiagramms die Auswirkung des SHAP-Werts eines Features auf das Vorhersageergebnis zeigt:
# 可视化某个特征的SHAP值对预测结果的影响
shap.dependence_plot("RM", shap_values, X)
Hier wählen wir ein Merkmal „RM“ im Datensatz aus und zeigen den Einfluss seines SHAP-Werts auf die Vorhersageergebnisse durch das Abhängigkeitsdiagramm. Es ist ersichtlich, dass der SHAP-Wert dieser Funktion in einer bestimmten linearen Beziehung zum Vorhersageergebnis steht. Je größer der SHAP-Wert ist, desto größer ist das Vorhersageergebnis.
Darüber hinaus bietet die SHAP-Bibliothek viele andere Visualisierungstools wie Interaktionsdiagramme, Wasserfalldiagramme usw., mit denen der Einfluss jedes Merkmals auf die Ergebnisse der Modellvorhersage weiter untersucht werden kann.