深度学习-算法的鲁棒性与稳定性解析_深度学习鲁棒性

1. 引言

“鲁棒”的英文是robustness，中文译为强健，稳健，所以说算法的鲁棒性直白点说就是健壮的、稳健的算法。

在深度学习领域，总是看到“算法的鲁棒性”这类字眼，比如这句–L1范数比L2范数鲁棒。

2. 鲁棒性

Huber从稳健统计的角度系统地给出了鲁棒性3个层面的概念：

一是模型具有较高的精度或有效性，这也是对于机器学习中所有学习模型的基本要求；
二是对于模型假设出现的较小偏差，只能对算法性能产生较小的影响；

主要是：噪声（noise）
三是对于模型假设出现的较大偏差，不可对算法性能产生“灾难性”的影响。

主要是：离群点（outlier）

3. 稳定性与鲁棒性区别

这里用一个形象生动的网络例子来阐述稳定性与鲁棒性区别，单身的研究学者如有不适，请点赞或留言发泄~

正说着话，我忽然见到一位非常漂亮且可爱的女生与他们在一起，灵机一动，就转身对着漂亮女生，给出了如下的解释。

（1） 稳定性 ：他是你的男朋友。那么，如果他对周围晃来晃去的其他年轻漂亮女孩子虽然也动了点心，但把持的住，依然很喜欢你，我们说他对你的感情是稳定的。
（2） 鲁棒性 ：也称为是强壮性、或者稳健性。当他的地位变了，升迁了，发达了，抑或变得与以前大不一样的时候，他依然还是稳定的：依然很喜欢你，且对周边年轻漂亮的女孩子把持的住。我们说他对你的感情就是鲁棒的（Robust）。
（3） 非脆弱性 ：前面说的都是假定你是坚定的、把感情作为矢志不渝的，他的反应。现在，再来一点更厉害的：当你变老了，不再漂亮了，或者遇到不幸的创伤，疾病而变得……总之情况很糟，或者他发现了你过去可能遭遇到的一段不愉快的历史等等。甚至更极端地，当你自己有点变心、花心、甚至犯了点错误的时候，他若依然是稳定的：依然很喜欢你，且对周边年轻漂亮的女孩子把持的住。我们说他对你的感情就是非脆弱的的。

生动形象，简单明了，哈哈~

您的支持，是我不断创作的最大动力~

欢迎点赞，关注， 留言交流 ~

深度学习，乐此不疲~

个人微信公众号，欢迎关注学习~

参考文献：

[1] Huber P J. Robust Statistics[J]. 1981. Wiley, New York.

[2] Hampel F R, Ronchetti E M, Rousseeuw P J, et al. Robust statistics: the approach based on influence functions[J]. 1986. Wiley, New York.

鲁棒性 对应英文单词为robust,中文为健壮的、强壮的,所以说算法的 鲁棒性 直白点说就是健壮的、强壮的算法，具体来说健壮主要体现在以下三点: 1、模型具有较高的精度或有效性，这也是对于机器学习中所有学习模型的基本要求； 2、对于模型假设出现的较小偏差，只能对算法性能产生较小的影响，比如常说的噪点； 3、对于模型假设出现的较大偏差，不可对算法性能产生“灾难性”的影响，比如离群点；

通俗的讲，给定一个等待排序的序列，假设序列中有2个相等的数，如果这两个相等的数，在排序前后相对前后位置发生了变化，则该算法可以认定为不稳定。反之即为稳定的算法。举例说明一下再简单形式化一下，如果a= b，a原来在b位置前，排序后a如果仍然在b位置前，则说明它是稳定的，如果排序后，a跑到b后面去了，说明他是不稳定的。这里简单做个理解就好。

在计算机科学中， 鲁棒性 (英语：Robustness)是指一个计算机系统在执行过程中处理错误，以及算法在遭遇输入、运算等异常时继续正常运行的能力。 鲁棒性 关注的重点在于系统的 稳定性 ，在不同场景下衍生了复杂的设计考量，且本身是一个广泛且难以具像化的特性。因此，针对特定目标实现 鲁棒性 分析，形成切实可行的 鲁棒性 意识，保障安全性。　　基于 鲁棒性 分析，以设计规约为目标，有三个维度可以拆解：输入、处理、输出;以代码规范为核心，我们可以从三个方面来分析，分别为：代码质量、代码性能以及代码优雅。逻辑回归的稳健性主要体现在以下几个方面：首先，对于数据的异常值，逻辑回归模型具有一定的 鲁棒性 。由于逻辑回归是基于最大似然估计进行参数估计，而最大似然估计对数据中的异常值具有一定的 鲁棒性 。这意味着在数据中存在一些离群点的情况下，逻辑回归模型可以较好地进行参数估计，并不会被异常值过分左右。其次，逻辑回归模型对于自变量的缺失值也具有一定的稳健性。在应对自变量缺失的情况下，逻辑回归模型可以采用不同的方法进行处理，如使用其他变量的数据进行插补，或采用多重插补等方法来处理缺失数据，以获得更为准确的模型参数估计。再次，逻辑回归模型对于样本的分布假设相对宽松，因此对于非正态分布的数据也具有一定的稳健性。逻辑回归的参数估计并不依赖于样本数据的正态分布性，因此即使在数据不满足正态分布的情况下，逻辑回归模型仍可以进行较为准确的分类。最后，逻辑回归模型还可以通过引入惩罚项来提高模型的稳健性。例如，可以使用L1正则化或L2正则化来控制模型的复杂度，减少过拟合的风险，并提高模型的 稳定性 。总的来说，逻辑回归模型在处理异常值、缺失值和非正态分布数据方面具有较强的稳健性，同时还可以通过正则化来提高模型的 稳定性 。因此，逻辑回归模型在实际应用中表现出较好的稳健性，并被广泛应用于各种分类问题。