这几天突然想到了优化理论中的梯度下降算法,看到了几个名词,愣了一下,虽然之前本科学过,但是好久不复习,后面就只知道概念了,细节理解需要复习呀。。
回想下海森矩阵,雅克皮比列式等,以及(多远)函数求极值,数值解析,梯度的意义等等,其实数学才是深度学习中最重要的。。
数学中的全微分(方程),全导数(公式),偏微分(方程),梯度,导数,方向导数,切线,斜率,射线,可导与连续,(多元)函数的积分与微分,高维空间,流行学习,核函数,参数方程,约束优化,组合优化等等很多东西其实相关的,这些基础其实很重要,要知其然,更要懂它的意义。

梯度就是用来确定因变量对于自变量的敏感程度的,其指向最快上升的方向,一元函数只有正负(自变量坐标轴),二元函数有梯度矢量,导数,方向导数只是数值,不谈方向,且倒是一般特指一元函数,多元函数常常指全微分,偏微分,复合函数还要讲全导数,切线以及切线的斜率是已经确定了直线或者曲线,来画切线,或者切线的斜率(在原函数上),在一元函数与二元函数中意义有所差别(斜率,导数与方向导数,含切向量自变量区域非直线切割类型),一元函数就是一条线,很简单,一个导数就完事,但多元函数可以有很多方向(方向导数,切线,斜率等),但都只有一个梯度,指向因变量变化最快的方向(高维指向,超过三维感觉已经想象不出来了。。)。

明确几个概念:

1.偏导数
代数意义
偏导数是对一个变量求导,另一个变量当做数
对x求偏导的话y就看作一个数,描述的是x方向上的变化率
对y求偏导的话x就看作一个数,描述的是y方向上的变化率
几何意义
对x求偏导是曲面z=f(x,y)在x方向上的切线
对y求偏导是曲面z=f(x,y)在x方向上的切线
这里在补充点.就是因为偏导数只能描述x方向或y方向上的变化情况,但是我们要了解各个方向上的情况,所以后面有方向导数的概念.
2.微分
偏增量:x增加时f(x,y)增量或y增加时f(x,y)
偏微分:在detax趋进于0时偏增量的线性主要部分
detaz=fx(x,y)detax+o(detax)
右边等式第一项就是线性主要部分,就叫做在(x,y)点对x的偏微分
这个等式也给出了求偏微分的方法,就是用求x的偏导数求偏微分
全增量:x,y都增加时f(x,y)的增量
全微分:根号(detax方+detay方)趋于0时,全增量的线性主要部分
同样也有求全微分公式,也建立了全微分和偏导数的关系
dz=Adx+Bdy 其中A就是对x求偏导,B就是对y求偏导
希望楼主注意的是导数和微分是两个概念,他们之间的关系就是上面所说的公式.概念上先有导数,再有微分,然后有了导数和微分的关系公式,公式同时也指明了求微分的方法.
3.全导数
全导数是在复合函数中的概念,和上面的概念不是一个系统,要分开.
u=a(t),v=b(t)
z=f[a(t),b(t)]
dz/dt 就是全导数,这是复合函数求导中的一种情况,只有这时才有全导数的概念.
dz/dt=(偏z/偏u)(du/dt)+(偏z/偏v)(dv/dt)
建议楼主在复合函数求导这里好好看看书,这里分为3种情况.1.中间变量一元就是上面的情况,才有全导数的概念.2.中间变量有多元,只能求偏导 3.中间变两有一元也有多元,还是求偏导.
对于你的题能求对x的偏导数,对y的偏导数,z的全微分,不能求全导数
如果z=f(x 2,2 x) 只有这种情况下dz/dx才是全导数!

深度学习记住两点:

全导数公式与链式法则,解决所有求导问题。

其实这么些个理论,不想要牢记,大家需要看看的时候,可以多百度,查查书籍,好好理解一下,做到心中有数,会用就行了。

重点参考:

https://my.oschina.net/u/3053883?tab=newest&catalogId=6041940
https://blog.csdn.net/kwame211/article/details/78553627
http://www.sohu.com/a/313838368_120115175

这几天突然想到了优化理论中的梯度下降算法,看到了几个名词,愣了一下,虽然之前本科学过,但是好久不复习,后面就只知道概念了,细节理解需要复习呀。。回想下海森矩阵,雅克皮比列式等,以及(多远)函数求极值,数值解析,梯度的意义等等,其实数学才是深度学习中最重要的。。数学中的全微分(方程),全导数(公式),偏微分(方程),梯度,导数,方向导数,切线,斜率,射线,可导与连续,(多元)函数的积分与微分,...
特别鸣谢原文作者:苏剑林 本文以尽可能清晰、简明的方式来介绍了一阶 偏微分 方程 的特征线法。个人认为这是 偏微分 方程 理论 较为简单但事实上又容易让人含糊的一部分内容,因此尝试以自己的文字来做一番介绍。当然,更准确来说其实是笔者自己的备忘。拟线性情形 ↺一般步骤 ↺考虑 偏微分 方程 α(x,u)⋅∂∂xu=β(x,u)(1)(1)α(x,u)⋅∂∂xu=β(x,u)\begin{equation}\bo...
由于是二元函数,有两个因变量。偏 导数 表示分别对某一个 导数 求导,如偏x 导数 、偏y 导数 。 高阶偏 导数 对偏 导数 继续求导。以二元函数的二阶偏 导数 为例,偏x 导数 有两个偏 导数 、偏y 导数 有两个偏 导数 。 定理:如果二元函数的两个二阶混合偏 导数 连续,那么他们两个相等。 与一元函数类似,由于有两个变量,x或y的增量称为偏增量,单单对x或y的微分称为 偏微分 。 若x,y同时增加,称为 增...
波动 方程 是描述波动运动的 偏微分 方程 ,其在物理学 有着广泛的应用。其 偏微分 方程 的求解方法可以帮助我们了解波的传播规律和波的特性。 在波动 方程 偏微分 方程 的应用主要体现在以下几个方面: 1. 求解波的传播速度: 偏微分 方程 可以通过求解波动 方程 的特征 方程 ,得到波的传播速度和传播 方向 。这对于理解波的传播规律和预测波的行为非常重要。 2. 描述波的幅度: 偏微分 方程 可以通过求解波动 方程 的解析解或数值解,来描述波的幅度变化和波的振幅。这对于理解波的能量和波的强度非常重要。 3. 分析波的衰减规律: 偏微分 方程 可以通过求解波动 方程 的解析解或数值解,来分析波的衰减规律。这对于理解波的传播距离和波的弱化程度非常重要。 4. 预测波的反射和折射: 偏微分 方程 可以通过求解波动 方程 的边界条件,来预测波在不同介质 的反射和折射。这对于理解波的传播路径和波的影响范围非常重要。 总之, 偏微分 方程 在波动 方程 的应用非常广泛,涉及到波的传播速度、波的幅度、波的衰减规律和波的反射和折射等方面。