L1正则化求导中的一个式子的理解proxh(x)=argminu(t||X||1+1/2||u−x||22)二范数平的和一范数求和的极小值取值的理解

||X||1为一范数,||u−x||22为二范数的平方。因为是二范数的平方,所以每一维的x值互不相关,一次只要求一维下的最小值就可以了,一维下的最小值,是一个二次函数和绝对值函数的关系问题,如下图所示:

当x远大t时,在二次函数图像的中轴左侧,因为线性函数为递减,二次函数为递增,但是刚开始增的幅度很小,所以函数值下降,但后来增的幅度很大,所以最小值一定出现在二次函数中轴和y轴之间,且取得最小值的自变量u值为x-t。当x逐渐减小,使得在中轴和y轴之间,二次函数增加的幅度总小于线性函数减小的幅度,当二次函数的导数的复数等于线性函数的导数时,是他们之间“幅度差”变化的转折点,这点的u值为x-t,所以当x-t大于0时,标题的式子等价于取消绝对值符号,且为正的式子,用导数等于0,可以得出u=x-t时,为最小值。同理当x小于-t时,u=x+t,为最小值;当x处于两者之间时,u必定等于0时取得最小值。

猜你喜欢

转载自blog.csdn.net/zpnkwxp2011/article/details/79147846