Optimización: Modelado, Algoritmos y Teoría (Conocimientos Básicos

Optimización: Modelado, Algoritmos y Teoría

Actualmente estoy estudiando el libro Optimización: Modelado, Algoritmos y Teoría. Lo registraré aquí y tomaré algunas notas. También agregaré algo de mi propio conocimiento y trataré de no escribir de una manera tan rígida (por supuesto, la más básico Todavía tengo que tenerlo)
El texto completo tiene 28,365 palabras, por lo que es agotador

Capítulo 2 Conocimientos básicos

2.1 Norma

2.1.1 Norma vectorial

Definición 2.1 (Norma) Una función no negativa ||·|| del espacio vectorial R ^{n al campo de números reales R se llama} norma si satisface:
(1) Definitividad positiva: para todo $v\in R^n$，有$||v||\_>=0$ , y$||v||\_=0$ si y sólo si$v=0$
(2) Homogeneidad: para todo$v\in R^n$和$\alpha \in R$ , hay$||\alpha v||$ =$|\alpha |$ $||v||$
(3) Desigualdad triangular: Para todo$v,w\in R\_{\_}^n$ ,有$||v\_+w||\_<=||v||\_+||w||La$
norma vectorial más comúnmente utilizada es l_pnorma (p >= 1)
$$||v|{|}_{}=(|v{\_}_1{|}^p+|v_2{|}^p+\dots +|v_n{|}^p{)}^{1/p}$$

显而易见，高数应该都学过，如果$p=\infty$，那么$l_{\infty }$范数定义为$$||v|{|}_{\infty }=max|v_i|$$

记住 $p=1,2,\infty$的时候最重要，有时候我们会忽略$l_2$范数的角标
也会遇到由正定矩阵$A$诱导的范数，即$||x|{|}_A=\sqrt{x^{impuestos}\_\_}$

para ${yo}_{}$Norma, existe la desigualdad de Cauchy comúnmente utilizada, sea $un,segundo\in R^n$，则
$$|{un}^{T}segundo|<=||un|{|}_{}||b|{|}_{}$$
El signo igual se cumple si y sólo si a está linealmente relacionado con b

2.1.2 Norma matricial

La norma matricial primero debe satisfacer las mismas tres características, es decir, debe satisfacer certeza positiva, homogeneidad y desigualdad triangular . Las más utilizadas son ${yo}_{},{yo}_{}$norma, cuando $pag=$Cuando$1$$Un\in R^{m\ast n}$的范数定义
$$||A|{|}_1=\sum _{i=1}^m\sum _{j=1}^n|a_{ij}|$$
当$p=2$时，也叫矩阵的Frobenius范数（F范数），记为$||A|{|}_F$，其实就是所有元素的平方和然后开根号，具体定义如下
$$||A|{|}_F=\sqrt{Tr(A{A}^T)}=\sqrt{\sum _{i,j}{a}_{ij}^{}}$$
T r Tr aquí$Tr$ representa la traza de la matriz cuadrada. La suma de cada elemento en la recta se llama traza (o número de traza) de la matriz A, generalmente denotada como tr(A)), y la norma F de la matriz tiene ortogonalidad. invariancia.
La invariancia ortogonal significa que para matrices ortogonales$U\in R^{metro\ast norte},V\in R\_{\_}^{m\ast n}$ , tenemos
$$||UAF|{|}_F^{}=||A||\_\_{\_}_F^{}$$
No escribiré la derivación específica aquí, es demasiado problemático escribir la fórmula jaja, si estás interesado, puedes leer la página 24 de este libro o venir a verme ^^

矩阵范数也可以由向量范数给诱导出来，一般称这种算数为诱导范数，感觉用的不是很多，这里先不扩展开了
除了上诉的1范数，2范数，另一个常用的矩阵范数是核范数，给定矩阵$A\in R^{m\ast n}$，核范数定义为
$$||A|{|}_{\ast }=\sum _{i=1}^r{\sigma }_i$$
其中${\sigma }_i,i=1,2,...,r$为$A$的所有非0奇异值,$r=rank(A)$，类似于向量的$l_1$范数可以保稀疏性，我们也通常通过限制矩阵的核范数来保证矩阵的低秩性。

2.1.3 矩阵内积

内积一般用来表征两个矩阵之间的夹角，一个常用的内积—Frobenius内积，$m\ast n$的矩阵$A$和$B$的Frobenius内积定义为
$$<A,B>=Tr(A{B}^T)=\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}{b}_{ij}$$
De hecho, es la multiplicación de elementos correspondientes uno a uno de dos matrices.
De manera similar, también tenemos la desigualdad de Cauchy correspondiente a la norma matricial. Sea $un,segundo\in r^{m\ast n}$，则
$$|<un,B>|<=||A||\_\_{\_}_{}||B|{|}_{}$$
El signo igual se cumple si y sólo si A y B están relacionados linealmente

2.2 Derivados

2.2.1 Matriz de gradiente y Hessor

La definición de gradiente (esto debería ser algo que nunca haya visto antes): función dada $F:R^{norte}\to R$, y$f$ en el puntoxxEs significativo dentro de una vecindad de$x$$gramo\in R^n$满足
$$\underset{p\to 0}{\lim }\frac{f(x+p)-f(x)-g^{T}p}{||p||}=0$$
就称$f$在点$x$处可微，此时$g$称为$f$在点$x$处的梯度，记作$\nabla f(x)$，如果对区域D上的每一个点$x$都有$\nabla f\left(x\right)$ existe, entonces se llama$f$ es diferenciable en D

Luego, después de una serie de derivaciones, podemos obtener la conocida fórmula de gradiente
$$\nabla f\left(x\right)\_={\left[\begin{array}{c}\frac{\partial f(x}{\partial x_{}}，\frac{\partial f(x}{\partial x_{}},...,\frac{\partial f(x}{\partial x_{}}\end{array}\right]}^{TPara}$$
una función multivariada, podemos definir su matriz de Hessor: si función$f\left(x\right):R^n\to R$en el puntoxxDerivada parcial de segundo orden en$x$$\frac{{\partial }^{2f}(x}{\partial x_{}\partial x_{}}yo,j=1,2,...,n$都存在，则
$${\nabla }^{2f}\left(x\right)\_=\left[\begin{array}{cccc}\frac{{\partial }^{2f}(x}{\partial x_1^{}}& \frac{{\partial }^{2f}(x}{\partial x_{}\partial x_{}}& \cdots & \frac{{\partial }^{2f}(x}{\partial x_{}\partial x_{}}\\ \frac{{\partial }^{2f}(x}{\partial x_{}\partial x_{}}& \frac{{\partial }^{2f}(x}{\partial x_2^{}}& \cdots & \frac{{\partial }^{2f}(x}{\partial x_{}\partial x_{}}\\ ⋮& ⋮& & ⋮\\ \frac{{\partial }^{2f}(x}{\partial x_{}\partial x_{}}& \frac{{\partial }^{2f}(x}{\partial x_{}\partial x_{}}& & \frac{{\partial }^{2f}(x}{\partial x_{norte}^{}}\end{array}\right]$$
convertirse $f$ en el puntoxxMatriz de arpillera en$x$
cuando${\nabla }^{2}f\left(x\right)$xxdel área D$Si\; x$ existe, se llama$f$ es diferenciable de segundo orden en D. Si es continua en D, se puede demostrar que la matriz de Hesse en este momento es una matriz simétrica.
Cuando$F:R^{norte}\to R^{Cuando\; m}$ es una función con valores vectoriales, podemos definir su matriz jacobiana$J\left(x\right)\in R^{m\ast n}$ , su componente de la i-ésima fila$F_{}\left(x\right)$梯度的转置，即
$$J\left(x\right)=\left[\begin{array}{cccc}\frac{\partial f{\_}_{}(x}{\partial x_{}}& \frac{\partial f{\_}_{}(x}{\partial x_{}}& \cdots & \frac{\partial f{\_}_{}(x}{\partial x_{}}\\ \frac{\partial f{\_}_{}(x}{\partial x_{}}& \frac{\partial f{\_}_{}(x}{\partial x_{}}& \cdots & \frac{\partial f{\_}_{}(x}{\partial x_{}}\\ ⋮& ⋮& & ⋮\\ \frac{\partial f{\_}_{}(x}{\partial x_{}}& \frac{\partial f{\_}_{}(x}{\partial x_{}}& & \frac{\partial f{\_}_{}(x}{\partial x_{}}\end{array}\right]$$
Es fácil ver que el gradiente $La$
matrizjacobiana$de$$\nabla$$f$$($
_$F:R^n\to R$es continuamente diferenciable,$p\in R^n$，那么
$$f(x+p)=f(x)+\nabla (x+tp{)}^{T}p$$
其中$0<t<1$，进一步，如果说$f$是二阶连续可微的
$$f(x+p)=f(x)+\nabla f(x{)}^{T}p+\frac{1}{2}{p}^T{\nabla }^{2}f(x+tp)p$$
其中$0<t<1$

Finalmente, este capítulo también presenta un tipo especial de función diferenciable: la función continua de Lipschitz de gradiente. Este tipo de función juega un papel clave en demostrar la convergencia de muchos algoritmos de optimización. Función continua de Lipschitz de gradiente Definición: Dada una función
diferenciable $f$ , si existe$l>0$ , para cualquier$x,y\in domf$ tiene ($domf$ esffdominio de$f$
$$||\nabla f\left(x\right)-\nabla f(y)||\le L||x-y||$$
则称$f$是梯度利普希茨连续的，相应利普希茨常数为$L$，有时候也会称为$L$-光滑，或者梯度$L$-利普希茨连续
梯度利普希茨连续表明，$\nabla f(x)$的变化可以被自变量$x$的变化所控制，满足该性质的函数有很多很好的性质， 一个重要的性质就是具有二次上界
具体证明我这里我就不再过多阐述了，有二次上界就是说$f(x)$可以被一个二次函数上界所控制，即要求说$f(x)$的增长速度不超过二次
还有一个推论就是说，如果$f$是梯度利普希茨连续的，且有一个全局最小点$x^{\ast }$，我们可以利用二次上界来估计$f(x)-f(x^{\ast })$的大小，其中$x$可以是定义域中任意一点
$$\frac{1}{2L}||\nabla f(x)|{|}^2\le f(x)-f(x^{\ast })$$
具体的证明我这里就不写了哈，想知道的可以百度或者我们讨论一下

2.2.2 矩阵变量函数的导数

La definición de gradiente de función multivariada también se puede extender al caso donde la variable es una matriz, con $metro\ast n$ matrizXX$X$ es la función f (X) f(X)de la variable independiente$f\left(X\right)$ , si hay una matriz$GRAMO\in R^{m\ast n}$满足
$$\underset{V\to 0}{}\frac{f(X+V)-f\left(X\right)-<GRAMO,V}{||V||}=0donde|$$ ∣ ⋅ ∣ ∣ ||·
||$||\cdot ||$是任意矩阵范数，就称矩阵向量函数$f$在$X$处$Fr\acute{a}chet$可微，就称G为$f$在$Fr\acute{a}chet$可微意义下的梯度，其实矩阵变量函数$f\left(X\right)$的梯度也可以用其偏导数表示为
$$\nabla f\left(x\right)\_=\left[\begin{array}{cccc}\frac{\partial f}{\partial x_{}}& \frac{\partial f}{\partial x_{}}& \cdots & \frac{\partial f}{\partial x_1}\\ \frac{\partial f}{\partial x_{}}& \frac{\partial f}{\partial x_{}}& \cdots & \frac{\partial f}{\partial x_2}\\ ⋮& ⋮& & ⋮\\ \frac{\partial f}{\partial x_{metro}}& \frac{\partial f}{\partial x_{metros}}& & \frac{\partial f}{\partial x_{}}\end{array}\right]$$
$fr\_\acute{a}La\; definición\; y\; el\; uso\; de\; chet$diferenciable son a menudo engorrosos, por lo que existe otra definición -----$GRAMO\hat{a}teaux$可微
定义：设$f(X)$为矩阵变量函数，如果存在矩阵$G\in R^{m\ast n}$对任意方向$V\in R^{m\ast n}$满足
$$\underset{t\to 0}{\lim }\frac{f(X+tV)-f(X)-t<G,V>}{t}=0$$
则称$fAcerca\; de$ XX_$X$是$GRAMO\hat{a}teaux$, llame a$G$$f$在$GRAMO\hat{a}teaux$gradiente en el sentido diferenciable
si$fr\_\acute{a}chet$es diferenciable y podemos deducir$GRAMO\hat{a}teaux$es diferenciable, pero no al revés, pero las funciones analizadas en este libro son básicamente$fr\_\acute{a}chet$es diferenciable, por lo que no es necesario discutirlo por el momento. Es bueno que todos entiendan ~, función variable de matriz unificadaf (X) f(X)La$derivada$$de$$f$$($$\frac{\partial f}{\partial X}$O $\nabla f\left(X\right)\_$

Por poner un ejemplo, en caso de que no sepas para qué sirve,
considera una función lineal: $f\left(X\right)=Tr\left(A{X}^{T}B\right)$，其中$Un\in R^{p\ast norte},segundo\in r^{metro\ast pag},X\in R\_{\_}^{m\ast n}$ para cualquier dirección$V\in R\_{\_}^{m\ast n}$以及$t\in R$，有
$$\underset{t\to 0}{}\frac{f(X+tV)-f(X}{t}=\underset{t\to 0}{}\frac{Tr\left(A\right(X+tV{)}^{TB}\_-Tr\left(A{X}^{T}B\right)}{t}$$
$$=Tr\left(A{V}^{TB}\right)\_=<BA,\_V>$$
Entonces,$\nabla f\left(X\right)\_=BA$
Cuando supe esto, tuve una pregunta, es decir,$Tr\left(A{V}^{TB}\right)\_=<BA,\_V>\; ¿$ Por qué?
Sabemos que$Tr\left(A{V}^{TB}\right)\_=Tr\left(BA{V}^T\right)$Esta es la propiedad básica de la traza,$BA$ suma$V$ son todos$metro\ast n$的，那么这时候又有一个性质，假设C和D是相同规模的矩阵，那么$Tr(A^{T}B)=<A,B>$
我这里是参考知乎jordi的，这是他的一个关于3*3矩阵的推导
链接：https://www.zhihu.com/question/274052744/answer/1521521561

那么这样就可以推出$Tr(A{V}^{T}B)=Tr(V^T,BA)=<BA,V>$啦

2.2.3 自动微分

自动微分是使用计算机导数的算法，在神经网络中，我们通过前向传播的方式将输入数据$a$转化为$\hat{y}$，也就是将输入数据$a$作为初始信息，将其传递到隐藏层的每个神经元，处理后输出得到$\hat{y}$。
通过比较输出得到$\hat{y}$与真实标签y，可以定义一个损失函数$f(x)$，其中$x$表示所有神经元对饮的参数集合，$f(x)$一般是多个函数复合的形式，为了找到最优的参数，我们需要通过优化算法来调整$x$使得$f(x)$达到最小，因此，对神经元参数$x$的计算是不可避免的
这一块就是讲了一个神经网络的前向传播和后向求导，自动微分有两种方式，前向模式和后向模式，前向模式就是变传播变求导，后向模式就是前传播再一层层求导，很显然现在大家学的都是后向模式这种的吧，因为他复杂度更低，计算代价小

2.3 广义实值函数

En el curso del análisis matemático, aprendimos el concepto básico de función: una función se deriva del espacio vectorial $R^n$ al campo de datos$El\; mapeo\; de\; R$ , en el campo de la optimización, a menudo implica realizar una operación inf(sup) en una variable de una función, lo que da como resultado que el valor de la función posiblemente sea infinito. Para describir el problema de optimización de manera más conveniente, necesitamos La definición de la función se amplía de alguna manera.
Entonces, ¿qué es una función de valor real generalizada?
Sea$\bar{R}=R\bigcup \infty$ es un espacio de números reales generalizado, entonces el mapeo$F:R^{norte}\to \bar{R}$ se llama función generalizada de valor real. Puede ver que hay dos valores especiales más en el rango de valores, más y menos infinito.

2.3.1 Funciones apropiadas

Función adecuada: Dada una función de valor real generalizada $f$ y el conjunto no vacío$X$ , si existe$x\in X$ tal que$f\left(x\right)<+\infty$ , y para cualquier$x\in X$ , todos tienen$f\left(x\right)>-\infty$ , entonces llamamos a la función$fAcerca$ de la colección$X$ es apropiado.
En resumen, significa que la función apropiada$En\; cuanto\; a\; f$ , al menos un valor no es infinito positivo y el valor en todas partes no es infinito negativo. Para problemas de optimización, las funciones apropiadas pueden ayudarnos a eliminar algunas funciones poco interesantes y considerar el problema desde una clase de función más razonable. Esto debería ser fácil de entender. Analicemos un problema mínimo. Al menos uno de sus valores no puede ser infinito positivo. De lo contrario, cómo obtener mínimo, y luego los valores en todas partes no pueden ser infinito negativo. De lo contrario, ¿cuál es el punto? de discutirlo, ¿no?
Estamos de acuerdo en que,a menos que se especifique lo contrario en este libro, las funciones analizadas en el teorema son todas funciones apropiadas.
Para la función apropiada$f$ , especificando su dominio
$$domf=\{x|f\left(x\right)<+\infty \}$$
Porque ciertamente es imposible obtener el valor mínimo de una función apropiada en el infinito positivo ^^

2.3.2 Función cerrada

Las funciones cerradas son otro tipo importante de funciones generalizadas de valor real. Las funciones cerradas pueden verse como una generalización de funciones continuas.
Antes de hablar de funciones cerradas, primero presentamos algunos conceptos básicos:

1. Conjunto de nivel inferior

El conjunto de nivel inferior es un concepto importante para describir el valor de una función de valor real: para este propósito, existe la siguiente definición
( $\alpha$ - conjunto de nivel inferior) para funciones generalizadas de valores reales:$F:R^{norte}\to \bar{R}$
$$C_{}=\{x|f\left(x\right)\le \alpha \}$$
se llamaffα \alfade$f$$\alpha$ - nivel inferior establecido
significa que el valor no puede exceder$\alpha$ Bueno, si$C_{}$No vacío, sabemos que $f(x)$的全局最小点一定落在$C_{\alpha }$中，无需考虑之外的点

2.上方图

上方图是从集合的角度来描述一个函数的具体性质，有如下定义：
对于广义实值函数$f：R^n\to \bar{R}$
$$epif=\{(x,t)\in R^{n+1}|f(x)\le t\}$$

说人话就是函数$f$上方的东西小于等于t（t取任意值），$f$的很多性质都可以通过$epif$ se puede obtener a través deepif epifAlgunas propiedades de$e$$p$$i$$f$ ffpropiedades de$f$

3. Funciones cerradas y funciones semicontinuas inferiores.

Función cerrada: Sea $F:R^{norte}\to \bar{R}$ es una función de valor real generalizada, si$epsif$ es un conjunto cerrado, entonces se llama$f$ es una función cerrada.
La función semicontinua inferior: Sea la función de valor real generalizada$F:R^{norte}\to \bar{R}$ , si para cualquier$x\in R\_{\_}^n$，有
$$\underset{y\to x}{\mathrm{Lim}}f\left(y\right)\ge f\left(x\right)$$
entonces$f\left(x\right)$ es una función semicontinua inferior

Creo que si no comprende este límite inferior, sería mucho mejor leer el texto directamente.

De hecho, está en $X_{}$En la vecindad de , si f( $X_{}$) menos un valor pequeño positivo, de modo que siempre sea menor que todos los f ( x ) f(x) en la vecindad$f\left(x\right)$ , se dice que hay una semicontinuidad inferior en el punto de discontinuidad.

Si se parece a la imagen de abajo,

tu$X_{}$Si avanzas aunque sea un poquito más hacia la izquierda, caerá bruscamente y no llegarás a $X_{}$xx en el barrio de$x$比$f\left(x_{}\right)-\epsilon$ es grande, y si es la primera imagen, podemos garantizar$X_{}$El lado izquierdo de no caerá bruscamente , eso es más o menos lo que significa

Sea la función generalizada de valor real $F:R^{norte}\to \bar{R}$ . Entonces las siguientes proposiciones son equivalentes:
(1)f ( x ) f(x)Cualquierα \alpha$de\; f$$($$x$$)$$Los\; conjuntos\; de\; nivel\; inferior\; \alpha$ son todos conjuntos cerrados
(2)$f\left(x\right)$ es semicontinuo inferior
(3)$F(\_\_$ _
_
_ , entonces el conjunto es cerrado.
Podemos ver que, de hecho, las funciones cerradas y las funciones semicontinuas inferiores pueden ser equivalentes. En el futuro, a menudo solo aparecerá una definición.
Operaciones simples entre cerradas (inferiores semicontinuas) las funciones mantendrán las propiedades originales
(1) suma, si$f$ y$g$ son funciones cerradas apropiadas, y$domf\bigcap domg\ne \varnothing$entonces$F+g$ también es una función cerrada, es apropiado evitar la situación de fórmula indeterminada, es decir,
la combinación de infinito negativo + infinito positivo (2) mapeo afín, si$f$ es una función cerrada, entonces$f(Unx+b)$ también toma la cota suprema para la función cerrada
(3), si toda función$F_{}$son todas funciones cerradas, entonces $sup\_{\_}_{}{F}_{}\left(x\right)$ también es una función cerrada.

2.4 colección convexa

2.4.1 Definiciones relacionadas de conjuntos convexos

Para ser honesto, siempre había oído hablar de conjuntos convexos antes, pero nunca entendí la definición específica. Aprendamos sobre esto ahora ~
Para $R^{}$Dos puntos en${}^n$$X_{}\ne x2$，形如
$$y=\theta x_{}+(1-yo)x_{}$$
Los puntos forman el punto de paso $X_{}$y $X_{}$línea recta, cuando $0\le \theta \le 1$ , dichos puntos forman el punto de conexión$X_{}$con $X_{}$
Definimos el segmento de recta : si pasa por el conjunto CCLa rectaentre dos puntos cualesquiera de$C$ se encuentra en$Dentro\; de\; C$ , se llama$C$ esun conjunto afín, es decir,
$$X_{},X_{}\in C⟶\theta x{\_}_{}+(1-yo)x_{}\in C,\forall \theta \in R$$
Es obvio que el sistema de ecuaciones lineales$unax=El\; conjunto\; solución\; de\; b$ es un conjunto afín, por el contrario, cualquier conjunto afín puede expresarse como un conjunto solución de un sistema de ecuaciones lineales.

Entonces, ¿cuál es la definición de conjunto convexo?
Conjunto convexo: Si conecta el conjunto CCLos segmentos de rectade dos puntos cualesquiera en$C$ están en$Dentro\; de\; C$ , se llama$C$为凸集，即
$$X_{},X_{}\in C⟶\theta x{\_}_{}+(1-yo)x_{}C\_\_\_\_\_\_\_\_$$
_
_
$$X=i_{}{X}_{}+i_{}{X}_{}+\cdots +i_{}{X}_{}$$
$$1=i_{}+i_{}+\cdots +i_{},{yo}_{}\ge 0,i=1,2,\cdots ,$$
Los puntos de$$k$$$X_{},X_{},\cdots ,X_{}$Combinación convexa de , conjunto SSEl conjunto de todas las combinaciones convexas de puntos medios en$S$$El\; casco\; convexo\; de\; S$ se denota como$convS,en$ resumen,$convS$ contieneSS$\_$El conjunto convexo más pequeño de$S$

Si θ i ≥ 0 {\theta}_i{\ge}0 se elimina de la definición de combinación convexa$i_{}Restricción\; \ge 0$ , podemos obtener el concepto de paquete afín
Paquete afín: Let$S$ es$R^{}$El subconjunto de${}^n$
$$\{x|x=X=i_{}{X}_{}+i_{}{X}_{}+\cdots +i_{}{X}_{},X_{},X_{},\cdots ,X_{}\in S,i_{}+i_{}+\cdots +i_{}=1\}$$
denotado como$affineS$
fangshebao
En términos generales, el paquete afín de un conjunto es en realidad el conjunto afín más pequeño que contiene el conjunto,
como
$$X=i_{}{X}_{}+i_{}{X}_{},i_{}>0,i_{}>El\; punto\; de\; 0$$
se llama punto$X_{},X_{}$combinación de cono, si el conjunto SSLa combinación de conos de cualquier punto en$S$$en\; S$ , entonces S se llama cono convexo

2.4.2 Conjuntos convexos importantes

1. Hiperplano y medio espacio.

Tome cualquier vector aa distinto de cero$a$，形如$\{x|a^{T}x=El\; conjunto\; de\; b\}$ se llama hiperplano, que tiene la forma$\{x|a^{El\; conjunto\; de\; T}x\le b\}$se llama medio espacio,$a$ es el vector normal del correspondiente hiperplano y medio espacio. Un hiperplano será$R^n$ se divide en dos semiespacios. Es fácil ver que el hiperplano es un conjunto afín y un conjunto convexo, y el semiespacio es un conjunto convexo pero no un conjunto afín (esto debería ser fácil de entender si entiendes los conceptos de conjuntos afines y conjuntos convexos)

2. Esfera, elipsoide, cono

La esfera y el elipsoide también son conjuntos convexos comunes. No introduciremos la esfera aquí. La
forma es
$$\{x|(x-X_{}{)}^{TP}{\_}^{-1}(x-x{)}_{})\le 1\}$$
se llama elipsoide, donde P es simétrico y definido positivo. Otra expresión del elipsoide es$\{x_{}+Atu||{tu}_{}||\le 1\}$ , A es una matriz cuadrada no singular
Además, llamamos al conjunto
$$\{(x,t)|||x||\le t\}$$
为范数锥，欧几里得范数锥也称为二次锥，范数锥是凸集
别忘了$t$也是变量噢，看这个图应该就很好理解范数锥了

知乎链接：https://zhuanlan.zhihu.com/p/126072881

3.多面体

我们把满足线性等式和不等式组的点的集合称为多面体，即
{ x ∣ A x ≤ b , C x = d } \{x|Ax{\le}b,Cx=d\} { x∣Ax≤b,Cx=d}
多面体是有限个半空间和超平面的交集，所以是凸集

4.(半)正定锥

这个我直接把书上的先贴过来把，我目前也不太懂，就不能细说

2.4.3 保凸的运算

证明一个集合是凸集有两种方式，第一种就是利用定义
$$x_1,x_2\in C,0\le \theta \le 1⟶\theta x{\_}_{}+(1-\theta x_{})\in C$$ para demostrar el conjunto$C$ es un conjunto convexo.
El segundo método consiste en explicar que el conjunto C se puede obtener a partir de un conjunto convexo simple (el hiperplano, el medio espacio, la esfera normal, etc. que acabamos de mencionar) mediante operaciones de preservación de la convexidad.
Teorema 1: La intersección de múltiples conjuntos convexos es un conjunto convexo
Teorema 2: Sea$F:R^{norte}\to R^m$是仿射变换（$f\left(x\right)=unax+segundo,Un\in R^{metro\ast norte},segundo\in R^n$ ), entonces
(1) el conjunto convexo está enffLa imagen bajo$f$
$$Ses\; un\; conjunto\; convexo\to f\left(S\right)\to \left\{f\right(x)|x\in S\}es\; un\; conjunto\; convexo$$
(2) El conjunto convexo está enffLa imagen original bajo$f$
$$Ces\; un\; conjunto\; convexo\to f^{-1}\left(C\right)\to \{x\in R^n|f\left(x\right)\in C\}es\; un\; conjunto\; convexo$$
, es decir, sigue siendo un conjunto convexo después de escalado, traslación o proyección.

2.4.4 Teorema del hiperplano de separación

Esta es una propiedad importante de los conjuntos convexos, es decir, los conjuntos convexos disjuntos pueden separarse mediante hiperplanos. Los resultados más básicos son el teorema del hiperplano de separación y el teorema del hiperplano de apoyo. El teorema del hiperplano de separación: si C y D son dos conjuntos convexos
disjuntos , entonces hay un vector distinto de cero $a$ y changshu$b$，使得
$$a^{T}x\le b,\forall x\in C,y{un}^{T}x\ge b,\forall x\in D$$
es el hiperplano$\{x|a^{T}x=b\}$ CCseparados$C$ y$D$

teorema de separación estricta: es decir, el signo de desigualdad estricta se establece arriba. No ampliaré los detalles.
Hiperplano de soporte: conjunto dadoCCUn punto x 0 x_0en$C\; y\; su\; frontera$$X_{}$, si $a\ne 0$满足$a^{T}x\le a^T{x}_{},\forall x\in C$ , entonces el conjunto
$$\{x|a^{T}x=a^T{x}_{}\}$$
para$C$ está en el punto límite$X_{}$El hiperplano de soporte
en es geométricamente hablando, este hiperplano es idéntico al conjunto $C$ está en el punto$X_{}$tangente al
teorema del hiperplano de soporte: si C es un conjunto convexo, entonces hay un hiperplano de soporte en cualquier punto límite de C.
Este teorema en realidad tiene una intuición geométrica muy fuerte, es decir, después de que se da un plano, el límite del conjunto convexo puede ser Cualquier punto del conjunto convexo se utiliza como punto de apoyo para colocar el conjunto convexo en el plano, y los conjuntos de otras formas generalmente no tienen esta propiedad.

2.5 funciones convexas

Todo el mundo debe haber oído hablar de la función convexa, echemos un vistazo a su definición específica (todavía no sé mucho al respecto)

2.5.1 Definición de función convexa

Función convexa: deja que la función $f$ es una función apropiada si$domf$ en el campo, de
$$f(\theta x\_+(1-\theta \left)y\right)\le \theta f\left(x\right)+(1-\theta )f\left(y\right)$$
Para todo$x,y\in reomf,0\le \theta \le 1$ es verdadero y se llama$f$ es una función convexa.
Intuitivamente hablando, el segmento de línea que conecta dos puntos cualesquiera en la imagen de la función convexa está por encima de la imagen de la función.

En consecuencia, también tenemos una función cóncava, si$-f$ es una función convexa, entonces se llama$f$ es una función convexa. Muchas propiedades de las funciones convexas se pueden aplicar a funciones cóncavas simplemente cambiando el signo.
Además, si$domf$ rango, desde
$$f(\theta x\_+(1-i\left)y\right)<\theta f\left(x\right)+(1-\theta )f\left(y\right)$$
y sea$x,y\in reomf,X\ne y,0\le \theta \le 1$ es cierto, entonces se llama$f$ es una función estrictamente convexa.
Hay otro tipo de función convexa de uso común,la función fuertemente convexa
. Función convexa fuerte, si hay una constante$metro>0$ , haciendo
$$g\left(x\right)=f\left(x\right)-\frac{}{2}||x|{|}^2$$
es una función convexa, entonces se llama$f\left(x\right)$ es una función fuertemente convexa, donde$m$ esuna función fuertemente convexa, que también se puede llamar función m-fuertemente convexa.
Sea$Aplicando\; g\left(x\right)$ a la definición de función convexa, podemos obtener
Si hay una constante$metro>0$ , tal que para cualquier$x,y\in reomf，0<i<1$ , si
$$f(\theta x\_+(1-\theta \left)y\right)\le \theta f\left(x\right)+(1-yo)f\left(y\right)-\frac{}{2}yo(1-yo)||x-y|{|}^2$$
se llama$f\left(x\right)$ es una función fuertemente convexa, donde$m$ es un parámetro fuertemente convexo.
De estas dos definiciones, podemos ver que:
(1) Una función fuertemente convexa menos una función cuadrática definida positiva sigue siendo convexa
(2) Una función fuertemente convexa debe ser una función estrictamente convexa,$metro=$Degenera en una función convexa en$0.$

Un teorema importante: Sea$f$ es una función fuertemente convexa y tiene un valor mínimo, entonces su punto de valor mínimo es único. La
prueba específica se puede probar por contradicción. Es bastante simple. Supongamos que hay dos puntos de valor mínimo$x,y$ , y luego sustitúyalo en la definición de función fuertemente convexa
. Cabe señalar que$La\; existencia\; de\; un\; valor\; mínimo\; de\; f$ es una premisa; de lo contrario, es posible que no exista necesariamente el punto mínimo global de una función fuertemente convexa.

2.5.2 Teorema de determinación de la función convexa

Uno de los métodos más básicos para determinar una función convexa es limitarla primero a cualquier línea recta y luego determinar si la función unidimensional correspondiente es convexa.
Teorema 1: $f\left(x\right)$ es una función convexa si y solo si para cualquier$x\in reomf,v\in R^{norte},gramo:R\to R$，
g ( t ) = f ( x + tv ) , domg = { t ∣ x + tv ∈ domf } g(t)=f(x+tv), domg=\{t|x+tv{\ en}domf\}g ( t )=f ( x+televisión ) , _domg={ t∣x+tv∈domf}
是凸函数
具体证明说难也不难说简单也不简单，想弄明白的百度或者来和我探讨一下哈（我是看了大概二十分钟半小时才看懂TT）
这里先给出一些实际中经常遇到的一些凸（凹）函数吧
（1）指数函数：$e^{ax},a,x\in R$是凸函数
（2）幂函数：$x^a(x>0)$，当$\alpha \ge 1$或$Cuando\; \alpha \le 0$ , es una función convexa
(3) entropía negativa:$xlnortex(x>0)$ es una función convexa
(4) Todas las normas son funciones convexas (versiones vectoriales y matriciales)ff
definida en un conjunto convexo$f$，$f$ es una función convexa si y sólo si
$$f\left(y\right)\ge f\left(x\right)+\nabla f\left(x\right)\_{}^T(y-x),\forall x,$$
La prueba específica de$$y$$$$\in$$$$do$$$$m$$$$f\; es\; la\; misma\; que\; la\; anterior.\; Esta\; prueba\; es\; relativamente\; simple.$$$$Este$$
teorema muestra que la función convexa diferenciable$La\; gráfica\; de\; f$ siempre está por encima de la tangente de cualquier punto, por lo tanto, con la función convexa diferenciable$La\; aproximación\; de\; primer\; orden\; de\; f$ en cualquier punto se puede obtener comoffUn límite inferior global de$f$

Teorema 3: Monotonicidad del gradiente, sea$f$ es una función derivable, entonces$f$ es una función convexa si y sólo si$domf$ es convexo y$\nabla f$ es un mapeo monótono, es decir:
$$(\nabla f(x)\_-\nabla f(y\left)\right)\_{}^T(x-y)\ge 0,\forall x,y\in domf$$
No se mencionará la prueba específica
Inferencia: Sea$f$ es una función diferenciable y$domf$ es un conjunto convexo, entonces
(1)$f$ es estrictamente convexa si y sólo si
$$(\nabla f(x)\_-\nabla f(y\left)\right)\_{}^T(x-y)>0,\forall x,y\in reomf$$
(2)$f$ es una función m-fuertemente convexa si y sólo si
$$(\nabla f(x)\_-\nabla f(y\left)\right)\_{}^T(x-y)\ge metro||x-y|{|}^2,\forall x,y\in reomf$$

Además, si la función es continuamente diferenciable de segundo orden, podemos obtener el siguiente
teorema de la condición de segundo orden:
Sea $f$ es una función diferenciable continua de segundo orden definida en un conjunto convexo, entonces$f$ es una función convexa si y sólo si
$${\nabla }^{2}f\left(x\right)\ge 0,\forall x\in domf$$
si∇ 2 f ( x ) > 0 , ∀ x ∈ domf {\nabla}^2f(x)>0,{\forall}x{\in}$$domf$$${\nabla }^{2f}\left(x\right)\_>0,\forall x\in domf$ , entonces$fh$ es una función estrictamente convexa.
Este número también se aprende y es bastante fácil de usar. Cuando la función es continua de segundo orden y diferenciable, suele ser más conveniente usar este

2.5.3 Operaciones de conservación de la convexidad

Primero resumamos los tres métodos utilizados para demostrar que una función es convexa:
(1) Uno es usar la definición para verificar la convexidad, generalmente limitando la función a una línea recta
(2) El otro es usar condiciones de primer orden y condiciones de segundo orden para probar la función La convexidad de
(3) La tercera es estudiar directamente ffLa imagen superior de$f$$epsi$
ahora$ff$$f$ se puede obtener a partir de una función convexa simple mediante algunas operaciones que preservan la convexidad.Teorema
:
(1) Si$f$ es una función convexa, entonces$\alpha f$ es una función convexa, donde$\alpha \ge 0$
(2) Si$F_{},F_{}$es una función convexa, entonces $F_{}+F_{}$es una función convexa
(3) si $f$ es una función convexa, entonces$f(Unx+b)$ es una función convexa
(4) si$F_{},F_{},...,F_{}$es una función convexa, entonces $f\left(x\right)=max\left\{f_{}\right(x),F_{}(x),...,F_{}(x)\}$ es una función convexa
(5) si para cada$y\in A,f(x,y)$ Acerca de$x$ es una función convexa, entonces
$$g\left(x\right)={sup\_\_}_{y\in }f(x,y)$$
es una función convexa
(6) Función dada$gramo:R^{norte}\to R,h:R\to R$，令$f\left(x\right)=h\left(g\right(x))$ si$g$ es una función convexa,$h$ es una función convexa y monótonamente no decreciente, entonces$f$ es una función convexa, si$g$ es una función cóncava,$h$ es una función convexa y no aumenta monótonamente, entonces$f$ es una función convexa
(7) Función dada$gramo:R^{norte}\to R^k,h:R^k\to R$，
$$f\left(x\right)=h\left(g\right(x))=h\left({gramo}_{}\right(x),{gramo}_{}(x),...,{gramo}_{}(x$$
)$$)$$${gramo}_{}$es una función convexa, $h$ es una función convexa y monótonamente no decreciente con respecto a cada componente, entonces$f$ es una función convexa, si${gramo}_{}$es una función cóncava, $h$ es una función convexa y no aumenta monótonamente, entonces$f$ es una función convexa
(8) si$f(x,y)$关于$(x,y)$ es una función convexa en general,$C$ es un conjunto convexo, entonces
$$g\left(x\right)=en{f}_{y\in }f(x,y)$$
es una función convexa
(9) Defina la función$F:R^{}$Función de perspectiva g de${}^n$$\to$$R$$gramo:R^{norte}\ast R\to R$
$$gramo(x,t)=tf\left(\frac{}{t}\right),domg\_=\left\{\right(x,t)|\frac{}{t}\in reometrof,t>0\}$$
Si f es una función convexa, entonces g es una función convexa

2.5.4 Propiedades de funciones convexas

1. Continuidad

首先先说明，前面的任何定理或者证明都没有说明凸函数是连续函数，但下面这个定理说明凸函数在定义域中内点是连续的
定理：设$f:R^n\to (-\infty ,+\infty )$为凸函数，对任一点$x_0\in intdomf$，有$f$在$x_0$处连续，这里$intdomf$表示定义域$domf$的内点
内点定义：这个点存在一个领域全含于定义域

推论：设$f\left(x\right)$ es una función convexa y$domf$ es un conjunto abierto, entonces$f\left(x\right)$ en$domf$ es continuo.
La razón es muy simple: los puntos del conjunto abierto son todos puntos interiores.

2. Conjunto de nivel inferior convexo

Todos los conjuntos de nivel inferior de una función convexa son conjuntos convexos, es decir, se obtienen los siguientes resultados:
Sea $f\left(x\right)$ es una función convexa, entonces$f\left(x\right)$ para todos$\alpha$ -conjunto de nivel inferior$C_{}$es un conjunto convexo,
para revisar el contenido anterior, probémoslo:
sea $X_{}.X_{}\in C{\_}_{}$, para cualquier $\theta \in (0,1)$ , primero según$f\left(x\right)$ invariancia de
$$f(\theta x{\_}_{}+(1-yo\left)x_{}\right)\le \theta f\left(x_{}\right)+(1-yo)f\left(x_{}\right)\le \theta \alpha +(1-yo)un=\alpha De\; esta$$
manera podrás completar la certificación, si aún no entiendes, puedes regresar y echar un vistazo.

3. Límite inferior cuadrático

La función fuertemente convexa tiene la propiedad de límite inferior cuadrático
(límite inferior cuadrático). Sea $f\left(x\right)$ es el parámetro$Si\; m$ es una función diferenciable fuertemente convexa, se cumple la siguiente desigualdad:
$$f\left(y\right)\ge f\left(x\right)+\nabla f\left(x\right)\_{}^T(y-x)+\frac{}{2}||y\_-x|{|}^2，\forall x,La\; prueba\; de\; y\in domf$$
no se da aquí. Usando el límite inferior cuadrático, es fácil deducir que los conjuntos de nivel inferior de funciones diferenciables fuertemente convexas están todos acotados.
Corolario: Sea$f$ es una función diferenciable fuertemente convexa, entoncesffTodoα {\alpha}$de\; f$$\alpha$ -el conjunto de niveles inferiores está limitado

2.6 Función conjugada

2.6.1 Definición y ejemplos de funciones conjugadas

La función conjugada es un concepto importante en el análisis convexo.
Definición de función conjugada: cualquier función apropiada ffLa función conjugada de$f$
se define como f ∗ ( y ) ≤ sup { y T x − f ( x ) } , x ∈ domff^*(y){\le}sup\{y^Tx-f(x)\ } ,x{\in}domfF∗(y)≤sup{ yT x−f ( x )} ,x ∈ d o m f
es simplemente una función lineal$y^{}$La diferencia máxima entre${}^T$$x$
Para cada y, deberíamos poder entenderla fácilmente mirando la imagen.

deja $f$ esRRFunción apropiada en$R$ , para cualquier función ffSe pueden definir funciones conjugadas para$f$$F^{\ast }$ es siempre una función convexa.
Tomemos prestada la explicación del papel de las funciones conjugadas de Zhihu.

Para funciones conjugadas, tenemos las siguientes desigualdades importantes:
Desigualdad de Fenchel
$$f\left(x\right)+F^{\ast }\left(y\right)\ge x^{T}y$$
A continuación damos las funciones conjugadas de algunas funciones comunes.

1. Función cuadrática

Considere la función cuadrática
$$f\left(x\right)=\frac{}{2}{X}^{impuestos}\_\_+b^{T}x+c$$
(1) convexidad fuerte ($A>0$）:
$$F^{\ast }\left(y\right)=\frac{}{2}(y-segundo{)}^{TA}{\_}^{-1}(y-segundo)-c$$
(2) Caso convexo general ($A\ge 0$ ):
$$F^{\ast }\left(y\right)=\frac{}{2}(y-segundo{)}^{TA}{\_}^{+}(y-segundo)-c,dom{f}^{\ast }=R(A)+bAquí$$
R (A) es el espacio de imagen de A.
El espacio de imagen es el rango de valores, esto$A^{}$¿Qué${}^{significa\; +?\; Aún\; no\; lo\; he\; descubierto.}$

2. Función indicativa del conjunto convexo.

Dado un conjunto convexo C, su función indicadora es
$$I_{}\left(x\right)=\{\begin{array}{ll}0& \text{X∈C}\\ +& \text{X∈/}\end{array}$$
Se puede ver que la función conjugada correspondiente es
$$I_C^{}\left(y\right)=sup\_{\_}_{}\{y^{T}x-I_{}(x)\}=sup\_{\_}_{x\in }{y}^{T}xaquíIC$$∗ I_C^
*$I_C^{}$También conocido como conjunto convexo CCFunción de soporte de$C$

3.Norma

La función conjugada de la norma es la función representativa de su esfera unitaria de norma dual, es decir, si $f\left(x\right)=||x||$ ,则
$$F^{\ast }\left(x\right)=\{\begin{array}{ll}0& \text{∣∣ y ∣ ∣∗≤1}\\ +& \text{∣∣ y ∣ ∣∗>}\end{array}$$

2.6.2 Función conjugada cuadrática

(Función conjugada cuadrática) cualquier función ffLa función conjugada cuadrática de$f$
$$F^{\ast \ast }\left(x\right)=sup\_{\_}_{y\in reom{f}^{}}sup\{x\_\_{}^{T}y-F^{\ast }(y)\}$$
Obviamente$F^{***}$ es siempre una función convexa cerrada (aunque no sé dónde es obvia). A partir de la desigualdad de Fenchel, podemos saber que
$$F^{\ast \ast }\left(x\right)\le f\left(x\right),\forall x$$
o equivalente,$epif=epi{f}^{***}$
Teorema: Si$f$ es una función convexa cerrada, entonces
$$F^{\ast \ast }(x)=f(x),\forall x$$
或等价的，$epif=epi{f}^{\ast \ast }$
具体的证明这里就不过多阐述了

2.7 次梯度

2.7.1 次梯度的定义

前面介绍了可微函数的梯度，但是对于一般的函数，之前定义的梯度不一定存在，对于凸函数，类比梯度的一阶性质，我们可以引入次梯度的概念
（次梯度）设$f$为适当凸函数，$x$为定义域$domf$中的一点 ，若向量$g\in R^n$满足
$$f\left(y\right)\ge f\left(x\right)+{gramo}^T(y-x),\forall y\in domf$$
se llama$g$ es la función$f$ en el punto$Un\; subgradiente\; en\; x$ , además, se llama conjunto
$$\partial f\left(x\right)\_=\{gramo|gramo\in R^{norte},f\left(y\right)\ge f\left(x\right)+{gramo}^T(y-x),\forall y\in domf\}$$
es$f$ en el punto$Subdiferenciación$ en

_
_ Si$g$ es$f\left(x\right)$ atx0x_0$X_{}$subgradiente en , entonces la función
$$l\left(x\right)=f\left(x_{}\right)+{gramo}^T(x-X_{})$$
es una función convexa$Un\; límite\; inferior\; global\; para\; f\left(x\right)$ , además, el subgradiente$g$ puede inducir la imagen de arriba$epif$ en el punto$(x,$Un hiperplano de soporte en$f$$($$x$$))$
La siguiente pregunta es, ¿bajo qué condiciones existe el subgradiente? De hecho, para la función convexa general$En\; términos\; de\; f$ ,$Es\; posible\; que\; f$ no tenga subgradientes en todos los puntos, pero para puntos interiores en el dominio,ffEl subgradiente de$f$
siempre existe.Teorema : Sea$f$ es una función convexa,$domf$ es su dominio, si$x\in entreomf$ , entonces$\partial f\left(x\right)$ es un subgradiente no vacío
, puedes entenderlo como una función que no es diferenciable en ciertos puntos. En este caso, podemos calcular el conjunto de subgradientes, que representan el rango de todos los gradientes posibles de la función en ese punto.

2.7.2 Propiedades de subgradientes

Función convexa $El\; subgradiente\; y\; la\; subdiferenciación\; de\; f\left(x\right)$ tienen muchas propiedades útiles. El siguiente teorema establece que el subdiferencial$\partial f\left(x\right)$
son respectivamente conjuntos convexos cerrados y conjuntos acotados no vacíos (teorema)bajo ciertas condiciones$f$ es una función convexa,$\partial f\left(x\right)$ tiene las siguientes propiedades:
(1) Para cualquier$x\in reomf$，$\partial f\left(x\right)$ es un conjunto convexo cerrado (posiblemente vacío)
(2) Si$x\in entreomf$ , entonces$\partial f\left(x\right)$ es un conjunto acotado no vacío
PS: conjunto cerrado: un conjunto que contiene todos sus puntos límite (un conjunto cuyo complemento es un conjunto abierto). La
demostración se omite aquí.

Cuando la función convexa $Cuando\; f\left(x\right)$ es diferenciable en algún punto,$\nabla f\left(x\right)$ esf ( x ) f(x)El único subgradiente de$f$$($$x$$)$
en este punto es establecer$f\left(x\right)$在$X_{}\in entdomf$ es diferenciable, entonces
$$\partial f\left(x_{}\right)=\{\nabla f(x_{})\}$$

Teorema (monotonicidad de subgradientes): Sea $f:R^n\to R$es una función convexa,$x,y\in reomf$，则
$$(tú-v{)}^T(x-y)\ge 0$$
其中$tu\in \partial f\left(x\right),La\; prueba\; de\; v\in \partial f\left(y\right)$
es bastante fácil

Para funciones convexas cerradas (es decir, funciones semicontinuas convexas), el subgradiente también tiene cierta continuidad.Teorema
: Sea $f\left(x\right)$ es una función convexa cerrada y$\partial f\left(x\right)$ en el punto$existe\; y\; no\; está\; vacía\; cerca\; de\; x$ , si la secuencia$X^k\to \bar{X}$，${gramo}^k\in \partial f\left(x^k\right)$es$f\left(x\right)$ está en el punto$X^{}$subgradiente en${}^k$${gramo}^k\to gramo$,则$gramo\in \partial f\left(\bar{X}\right)$
demuestra que la continuidad es útil, aquí se omite

2.7.3 Derivadas direccionales de funciones convexas

En fracciones conocemos el concepto de derivadas direccionales, suponiendo $f$ es una función apropiada, dado un punto$X_{}$y la dirección $re\in R^n$ , la derivada direccional (si existe) se define como
$$\underset{t\downarrow 0}{}\varphi \left(t\right)=\underset{t\downarrow 0}{}\frac{f(x_{}+td)\_-f(x_{}}{t}$$
donde $t\downarrow 0$ significa$t$ disminuye monótonamente hacia 0, para la función convexa$f\left(x\right)$ , es fácil saber$\varphi \left(t\right)$ en$(0,+\infty )$上是单调不减的，上述此时极限总是存在（可以为无穷），所以凸函数总是可以定义方向导数
定义（方向导数）：对于凸函数$f$，给定点$x_0\in domf$以及方向$d\in R^n$，其方向导数定义为
$$\partial f(x_0;d)=\underset{t>0}{\inf }\frac{f(x_0+td)-f(x_0)}{t}$$
方向导数可能是正负无穷，但在定义域的内点处方向导数是有限的
即设$f(x)$为凸函数，$x_0\in intdomf$，则对任意$d\in R^n，\partial f(x_0;d)$有限

凸函数的方向导数和次梯度之间有很强的联系，以下结果表明，凸函数$f(x)$关于$d$的方向导数$\partial f(x;d)$正是$f$在点$x$处的所有次梯度与$d$的内积的最大值
定理：设$f:R^n\to (-\infty ,+\infty ]$为凸函数，点$x_0\in intdomf$，$d$为$R^n$中任一方向，则
$$\partial f(x_0;d)=\underset{g\in \partial f(x_0)}{\max }{g}^{Td}\_$$

El teorema anterior se puede aplicar a $x\in domf$ se puede generalizar de la siguiente manera:
Teorema: Sea$f$ es una función convexa apropiada y en$X_{}$Cuando el subdiferencial no es un conjunto vacío, entonces para cualquier $re\in R^n$有
$$\partial f(x_{};re)=\underset{gramo\in \partial f\left(x_{}\right)}{}{gramo}^{T}d$$
当$\partial f(x_{};d)$ no es infinito, se puede obtener el supremo

2.7.4 Reglas de cálculo para subgradientes

Cómo calcular el subgradiente de una función convexa no diferenciable es una cuestión muy importante en el diseño de algoritmos de optimización. Si el subgradiente se calcula de acuerdo con la definición, generalmente es más engorroso. Introduzcamos algunas reglas de cálculo de subgradiente. Esta sección analiza El valor predeterminado es $x\in entreomf$

1. Reglas básicas

Primero damos algunas reglas básicas para calcular subgradientes (subdiferenciales) sin prueba
(1) Funciones convexas diferenciables: Sea $f$ es una función convexa, si$f$ en el puntoxxDiferenciable en$x$$\partial f\left(x\right)\_=\{\nabla f(x)\}$
(2) Combinación lineal no negativa de funciones convexas: Sea$F_{},F_{}$为凸函数，且满足
$$intdom{f}_{!}\cap intdom{f}_2\ne \varnothing$$
而$x\in intdom{f}_{!}\cap intdom{f}_2$，若
$$f(x)={\alpha }_1{f}_1(x)+{\alpha }_2{f}_2(x),{\alpha }_1,{\alpha }_2\ge 0$$
entonces$f\left(x\right)$的次微分
$$\partial f\left(x\right)\_=a_{}\partial f{\_}_{}\left(x\right)+a_{}\partial f{\_}_{}\left(x\right)$$
(3) Sustitución de variable lineal: Sea$h$ es una función apropiada y la función$f$满足
$$f\left(x\right)=h(Unx+segundo),\forall x\in R^m$$
其中$Un\in R^{norte\ast metro}，segundo\in R^n$ , si existe$X^{\ast }\in R{\_}^m$ , tal que$una{x}^{\ast }+b\in intdomh$，则
$$\partial f\left(x\right)\_=A^T\partial h(Ax+segundo),\forall x\in entdomf$$

2. Subgradiente de la suma de dos funciones

Otros $Másati\_-El\; teorema\; de\; Rockafellar$ proporciona el método de cálculo de la subdiferencial de la suma de dos funciones convexas:
Teorema (Moreau-Rockafellar): Sea$F_{},F_{}:R^{norte}\to (-\infty ,+\infty ]$ son ​​dos funciones convexas, entonces para cualquier$X_{}\in R{\_}^n$,
$$\partial f_1(x_0)+\partial f_2(x_0)\subseteq \partial (f_1+f_2)(x_0)$$
进一步的，若$intdom{f}_1\cap intdom{f}_2\ne \varnothing$，则对任意的$x_0\in R^n$
$$\partial (f_{}+F_{})\left(x_{}\right)=\partial f{\_}_{}\left(x_{}\right)+\partial f{\_}_{}\left(x_{}\right)$$
se omite la prueba

3. El supremo de la familia de funciones.

Es fácil verificar que la función suprema de una familia de funciones convexas es una función convexa, tenemos los siguientes resultados importantes:
Teorema (Dubovitskii-Milyutin) Sea $F_{},F_{},\cdots ,F_{}:R^{norte}\to (-\infty ,+\infty ]$均为凸函数，令
f ( x ) = m a x { f 1 ( x ) , f 2 ( x ) , ⋯   , f m ( x ) } , ∀ x ∈ R n f(x)=max\{f_1(x),f_2(x),\cdots,f_m(x)\},{\forall}x{\in}R^n f(x)=max{ f1​(x),f2​(x),⋯,fm​(x)},∀x∈Rn
对$x_0\in {\cap }_{i=1}^{m}intdom{f}_i$，定义$yo\left(x_{}\right)=\{yo|f_{}\left(x_{}\right)=f(x_{})\}$，则
$$\partial f\left(x_{}\right)=conv{\cup }_{yo\in yo(x_{}}\partial f{\_}_{}\left(x_{}\right)$$
Se omite la prueba específica y puede que no quede claro qué es conv aquí, de la siguiente manera

4. Valor mínimo de función con componentes fijos

Sea $h:R^{norte}\ast R^{metro}\to (-\infty ,+\infty ]$ se trata de$(x,y)$ , entonces$f\left(x\right)={enf}_{}h(x,y)$ es aproximadamente$x\in R\_{\_}^{}$Función convexa de${}^n$$f$ en el puntoxxUn teorema del subgradiente en$x$
: considere la función
$$f\left(x\right)=\underset{y}{\mathrm{en}}h(x,y)$$
其中
$$h:R^n\ast R^m\to (-\infty ,+\infty ]$$
是关于$(x,y)$的凸函数，对$\hat{x}\in R^n$，设$\hat{y}\in R^m$满足$h(\hat{x},\hat{y})=f(\hat{x})$，且存在$g\in R^n$ tal que$(g,0)\in \partial f\left(\hat{X}\right)$，则$gramo\in \partial f\left(\hat{X}\right)$
Para ser honesto, estas cosas son bastante abstractas y puede que sea mucho mejor hacer algunos ejercicios más adelante.

5. Función compuesta

Para el subgradiente de la función compuesta, tenemos el siguiente
teorema de la regla de la cadena: Sea $F_{},F_{},\cdots ,F_{}:R^{norte}\to (-\infty ,+\infty ]$ son ​​m funciones convexas,$h:R^{metro}\to (-\infty ,+\infty ]$ es una función convexa con componentes monótonamente crecientes, sea
$$f\left(x\right)=h\left(f_{}\right(x),F_{}(x),\cdots ,F_{}(x))$$
设$z=(z_{},z_{},\cdots ,z_{})\in \partial h(f_1(\hat{x}),f_2(\hat{x}),\cdots ,f_m(\hat{x}))$，以及$g_1\in \partial f_i(\hat{x})$,则
$$g=z_1{g}_1,z_2{g}_2,\cdots ,z_m{g}_m\in \partial f(\hat{x})$$
就是$g$为$f$在点$\hat{x}$的一个次梯度
感觉就跟正常的链式法则一样

到此为此，第二章基础知识已经过完啦，当然后面的章节肯定会有用到这部分内容的，到时候再回头看巩固一下，第三章是优化建模哦！