文章目录
大纲
基础概念
最优化问题一般形式
无约束最优化问题
约束最优化问题
当目标函数和约束函数均为线性函数时，问题称为线性规划。
当目标函数和约束函数中至少有一个是变量x的非线性函数时，问题称为非线性规划。
根据决策变量、目标函数和要求的不同，最优化还分成了整数规划、动态规划、网络
规划、非光滑规划、随机规划、几何规划、多目标规划等若干分支。
本书主要研究求解无约束最优化问题(1.1.2)和约束最优化问题(1.1.3)的理论和方法，其中第三章至第七章研究无约束最优化问题，第八章至第十三章研究约束最优化问题，第十四章研究非光滑优化问题。
可行点
在线性规划与非线性规划中，满足约束条件的点称为可行点。
可行域/集
全体可行点组成的集合称为可行集或可行域。
无约束问题
如果一个问题的可行集是整个空间。那么此问题就称为无约束问题。
扫描二维码关注公众号，回复：
14679575 查看本文章
最优解
数学基础
向量范数
范数等价性
矩阵范数
矩阵范数性质
序列极限
聚点
根据定义易知，如果无穷序列有界，即存在正数M,使得对所有k均有|x(2)||≤M，则这个序列必有聚点。
Cauchy序列
连续&可微
梯度
稳定点（Stationary Point）
梯度为0的点。
鞍点（Saddle Point）
既不是极小值点，也不是极大值点的驻点。
Hesse矩阵
例：二次函数
Taylor展开式
Jacobi矩阵
链式法则
隐函数定理
