接下来就开始学习具体的问题和解决问题的算法了~

首先是无约束问题 unconstrained problems

之前学习的回顾,什么是凸集、凸函数、局部最优解
在这里插入图片描述
参考:https://blog.csdn.net/qq_16608563/article/details/82757086

1. 无约束问题的最优性条件 optimality condition for unconstrained problems

所谓非线性规划的最优化条件,是指非线性规划模型的 最优解所满足的必要条件或者充分条件

无约束优化问题的最优性条件,是和 最优解 有关的条件,最优解的充分or必要条件。
首先是一阶条件first-order condition,它是 必要necessary的最优性条件 ,即已知是(局部或全局)最优解,得到了有关梯度(一阶)的结论。

由此可以看出,可以通过刻画最小值的性质来得到最优性条件。
算法能够轻易找到满足这个必要条件的点,但我们不知道它是否是最优解

minf(x)f(\textbf{x})f(x) s.t.gi(x)≤0g_i(\textbf{x})\leq0gi​(x)≤0 hj(x)=0\quad h_j(\textbf{x})=0hj​(x)=0 其中,自变量x∈Rn\textbf{x}\in R^nx∈Rn。设f(x)f(\textbf{x} 要想深入理解机器 学习 ,或者对人工智能的某个领域有所研究,都必须掌握统计学、最优化、矩阵及其应用等知识。推荐《统计 学习 导论:基于R应用》,适合运用统计 学习 前沿技术分析数据的人士。读起来不费劲,弱化了数学推导过程,注重思维的直观理解和启发。第三章线性回归写的很好,即使是很简单的线性模型,作者提出的几个问题和细细的解释这些问题对人很有启发性,逻辑梳理得很好,也易懂。《统计 学习 导论:基于R应用》高清中文P...