[Интернет вещей] Краткое введение в метод наименьших квадратов — реализация на языке C

Метод наименьших квадратов — это широко используемый математический метод для подбора данных и поиска наиболее подходящей кривой. Его цель — найти функцию, которая минимизирует сумму квадратов ошибок по точкам данных.

---

---

Фундаментальный

Предположим, у нас есть набор точек данных $({х}_{},{й}_{}),({х}_{},{й}_{}),...,({х}_{},{й}_{})$ , мы хотим найти функцию$й"="f\left(x\right)$ , так что эта функция лучше всего соответствует этим точкам данных. Основная идея метода наименьших квадратов заключается в том, что нам нужно найти функцию$й"="f\left(x\right)$ , так что сумма квадратов расстояний всех точек данных до этой функции минимизирована.

Мы определяем расстояние от каждой точки данных до функции как остаток $резялюблютебя\_{\_}_{}$，即$резялюблютебя\_{\_}_{}"="{й}_{}-е\left({х}_{}\right)$ . Наша цель — минимизировать сумму квадратов всех остатков, то есть минимизировать сумму квадратов ошибок$С"="{\sum }_{я=1}^{}резялюблютебя\_{\_}_{я}^{}$。

---

Решение методом наименьших квадратов

Чтобы решить задачу наименьших квадратов, нам нужно выбрать подходящую функциональную форму $й"="ж\left(Икс\right)$ . Общие формы функций включают линейные функции, полиномиальные функции, показательные функции и т. д. Возьмем линейную функцию$й"="х\_+б$ Например, мы можем минимизировать сумму ошибок квадратов$S$ найти коэффициент$а$ и$б$。

Сначала определим целевую функцию $Дж(а,б)$，即$Дж(а,б)"="{\sum }_{я=1}^{}({у}_{}-(х{\_}_{}+б){)}^2$ . Наша цель — найти такое, что$Дж(а,б)$ наименьший$а$ и$б$ . Чтобы достичь этой цели, нам нужно найти частную производную целевой функции и сделать ее равной 0.

Для целевой функции $Дж(а,б)$ , соответственно оцениваем$а$ и$Найдите\; частную\; производную\; от\; b$ и пусть она равна 0, то есть:

$\frac{\partial }{\partial а}"="0$

$\frac{\partial }{\partial б}"="0$

Решив приведенную выше систему уравнений, можно получить $а$ и$b$ , получая таким образом наиболее подходящую прямую линию.

---

Примеры применения

Метод наименьших квадратов имеет широкий спектр применения в практических приложениях. Например, в экономике метод наименьших квадратов можно использовать для оценки параметров экономической модели. В физике метод наименьших квадратов можно использовать для аппроксимации экспериментальных данных и получения параметров физических законов. В машинном обучении метод наименьших квадратов можно использовать для решения задач линейной регрессии.

Давайте возьмем в качестве примера задачу линейной регрессии. Предположим, у нас есть набор точек данных о площади и цене дома, и мы хотим найти линейную функцию, которая лучше всего соответствует этим точкам данных. Мы можем использовать метод наименьших квадратов для определения параметров линейной функции.

Предположим, что наши точки данных: $({х}_{},{й}_{}),({х}_{},{й}_{}),...,({х}_{},{й}_{})$ , нам нужно найти линейную функцию$й"="х\_+b$ , сумма квадратов разностей$С"="{\sum }_{я=1}^{}({у}_{}-(х{\_}_{}+б){)}^2$ Свернуть.

Решив частную производную целевой функции и установив ее равной 0, мы можем $а$ и$решение\; б$ . Наконец, мы можем получить параметры наиболее подходящей прямой.

---

Реализация метода наименьших квадратов с использованием языка C

#include <stdio.h>

// 定义最大数据点数量
#define MAX_DATA_POINTS 100

// 定义数据点结构体
typedef struct {
    
    
    double x;
    double y;
} DataPoint;

// 定义线性回归函数
void linearRegression(DataPoint* data, int n, double* a, double* b) {
    
    
    double sumX = 0, sumY = 0, sumXY = 0, sumX2 = 0;
    for (int i = 0; i < n; i++) {
    
    
        sumX += data[i].x;
        sumY += data[i].y;
        sumXY += data[i].x * data[i].y;
        sumX2 += data[i].x * data[i].x;
    }
    double denominator = n * sumX2 - sumX * sumX;
    *a = (n * sumXY - sumX * sumY) / denominator;
    *b = (sumY * sumX2 - sumX * sumXY) / denominator;
}

int main() {
    
    
    int n;
    DataPoint data[MAX_DATA_POINTS];

    // 输入数据点数量
    printf("Enter the number of data points: ");
    scanf("%d", &n);

    // 输入数据点的 x 和 y 值
    printf("Enter the data points (x, y):\n");
    for (int i = 0; i < n; i++) {
    
    
        printf("Data point %d: ", i+1);
        scanf("%lf %lf", &data[i].x, &data[i].y);
    }

    double a, b;
    linearRegression(data, n, &a, &b);

    // 输出线性回归的结果
    printf("Linear regression equation: y = %.2fx + %.2f\n", a, b);

    return 0;
}

Этот код реализует простую функцию линейной регрессии linearRegression, которая принимает массив точек данных и количество точек данных в качестве входных данных и вычисляет параметры наиболее подходящей прямой линии. В mainфункцию мы сначала вводим количество и конкретные значения точек данных, затем вызываем linearRegressionфункцию для выполнения вычислений линейной регрессии и выводим уравнение наиболее подходящей прямой линии.

Обратите внимание, что этот код реализует только простую линейную регрессию. Если вам нужно подогнать другие типы функций, вам необходимо соответствующим образом изменить linearRegressionреализацию функции .

---

Подведем итог

Метод наименьших квадратов — это широко используемый математический метод для подбора данных и поиска наиболее подходящей кривой. Его основной принцип заключается в минимизации суммы квадратов расстояний от точек данных до подобранной функции. Решив частную производную целевой функции и присвоив ей значение 0, мы можем получить параметры наиболее подходящей функции. Метод наименьших квадратов широко используется в различных областях и является очень полезным инструментом.