强化学习(Reinforcement Learning, RL),又称再励学习、评价学习或增强学习,是机器学习的范式和 方法论 之一,用于描述和解决 智能体 (agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题 [1] 。

强化学习的常见模型是标准的 马尔可夫决策过程 (Markov Decision Process, MDP)。按给定条件,强化学习可分为基于模式的强化学习(model-based RL)和无模式强化学习(model-free RL) [1] ,以及主动强化学习(active RL)和 被动强化学习 (passive RL) [2] 。强化学习的变体包括逆向强化学习、阶层强化学习和部分可 观测系统 的强化学习。求解强化学习问题所使用的算法可分为策略 搜索算法 和值函数(value function)算法两类。深度学习模型可以在强化学习中得到使用,形成 深度强化学习 [1] 。

强化 学习理论 受到 行为主义心理学 启发,侧重在线学习并试图在探索-利用(exploration- exploitation )间保持平衡。不同于 监督学习 和 非监督学习 ,强化学习不要求预先给定任何数据,而是通过接收环境对动作的奖励(反馈)获得学习信息并更新 模型参数 [3] 。

强化学习问题在 信息论 、 博弈论 、 自动控制 等领域有得到讨论,被用于解释 有限理性 条件下的 平衡态 、设计 推荐系统 和机器人交互系统 [3] 。一些复杂的强化学习算法在一定程度上具备解决 复杂问题 的通用智能,可以在围棋和电子游戏中达到人类水平 [3] [4] 。

强化学习是从动物学习、参数扰动自适应控制等理论发展而来,其基本原理是: 如果Agent的某个行为策略导致环境正的 奖赏 (强化信号),那么Agent以后产生这个行为策略的趋势便会加强。Agent的目标是在每个离散状态发现 最优策略 以使期望的折扣奖赏和最大。 强化学习把学习看作试探评价过程,Agent选择一个动作用于环境,环境接受该动作后状态发生变化,同时产生一个强化信号(奖或惩)反馈给Agent,Agent根据强化信号和环境当前状态再选择下一个动作,选择的原则是使受到 正强化 (奖)的概率增大。选择的动作不仅影响立即强化值,而且影响环境下一时刻的状态及最终的强化值。
[1] 邱锡鹏 著,神经网络与深度学习,第十四章 深度强化学习 .Github Inc..2019 [引用日期2019-05-18] [2] Fern, X., Reinforcement Learning. In CS 434: Machine Learning and Data Mining. .School of Electrical Engineering and Computer Science, Oregon State University .2008 [引用日期2019-05-21] [3] Panin, A. and Shvechikov, P., Practical Reinforcement Learning .Coursera and National Research University Higher School of Economics.2017 [引用日期2019-05-18] [4] The story of AlphaGo so far .DeepMind [引用日期2019-05-18]