全部笔记的汇总贴（视频也有传送门）：中科大-凸优化
一、函数的透视
透视函数： P : R n + 1 → R n d o m P ∈ R n ∗ R + + P ( z , t ) = z t P:\R^{n+1}\rightarrow\R^n\;\;dom\;P\in\R^n*\R_{++}\;\;P(z,t)=\frac zt P:Rn+1→RndomP∈Rn∗R++P(z,t)=tz
函数的透视： f : R n → R g : R n ∗ R + + , g ( x , t ) = t f ( x t ) , d o m g = { ( x , t ) ∣ t > 0 , x t ∈ d o m f } f:\R^n\rightarrow\R\;\;g:\R^n*\R_{++},g(x,t)=tf(\frac xt),dom\;g=\{(x,t)|t>0,\frac xt\in dom\;f\} f:Rn→Rg:Rn∗R++,g(x,t)=tf(tx),domg={
(x,t)∣t>0,tx∈domf}
f f f为凸， g g g为凸； f f f为凹， g g g为凹
例：欧几里得范数的平方
f ( x ) = x T x , d o m f = R n g ( x , t ) = t ( x t ) T ( x t ) = x T x t f(x)=x^Tx,dom\;f=\R^n\\g(x,t)=t(\frac xt)^T(\frac xt)=\frac{x^Tx}t f(x)=xTx,domf=Rng(x,t)=t(tx)T(tx)=txTx
例：负对数
f ( x ) = − log x , d o m f = R + + g ( x , t ) = t ( − log x t ) = t log t x , d o m g = R + + u , v ∈ R + + n g ( u , v ) = ∑ i = 1 n u i log u i v i ⏟ g i ( u i , v i ) 凸 （ 不 是 非 负 加 权 和 ） D K L ( u , v ) = Δ ∑ i = 1 n ( u i log u i v i − u i + v i ) 凸 函 数 K L D i v e r g e n c e B r e g m a n D i v e r g e n c e f : R → R 为 凸 D B ( u , v ) = Δ f ( u ) − f ( v ) − ∇ f ( v ) ( u − v ) （ 无 法 保 持 凸 性 ） f(x)=-\log x,dom\;f=\R_{++}\\g(x,t)=t(-\log\frac xt)=t\log \frac tx,dom\;g=\R_{++}\\u,v\in\R_{++}^n\\g(u,v)=\sum_{i=1}^n\underset{g_i(u_i,v_i)}{\underbrace{u_i\log\frac{u_i}{v_i}}}\;\;凸（不是非负加权和）\\D_{KL}(u,v)\overset{\Delta}{=}\sum_{i=1}^n(u_i\log\frac{u_i}{v_i}-u_i+v_i)\;\;\;凸函数\;\;\;KL\;Divergence\\Bregman\;Divergence\;f:\R\rightarrow\R为凸\;\;D_B(u,v)\overset{\Delta}{=}f(u)-f(v)-\nabla f(v)(u-v)\;\;\;（无法保持凸性） f(x)=−logx,domf=R++g(x,t)=t(−logtx)=tlogxt,domg=R++u,v∈R++ng(u,v)=i=1∑ngi(ui,vi) uilogviui凸（不是非负加权和）DKL(u,v)=Δi=1∑n(uilogviui−ui+vi)凸函数KLDivergenceBregmanDivergencef:R→R为凸DB(u,v)=Δf(u)−f(v)−∇f(v)(u−v)（无法保持凸性）
（有关函数的共轭相关的知识，这一节课只提了一部分，所以把这部分笔记拿到下一节中）
下一章传送门：中科大-凸优化 笔记（lec17）-函数的共轭