（1）蒙特卡洛增量更新推导
（2）为什么蒙特卡洛算法只能用于可分片段的马尔可夫决策过程？
“可分片段"的含义是该马尔可夫决策过程长度有限，这样才能计算”总折扣奖励“，在实际操作中，如果遇到非常长的马尔可夫链或者无限马尔可夫链，会考虑”时序差分学习“。
（3）蒙特卡洛特性
蒙特卡洛方法：直接从经验片段进行学习。
蒙特卡洛是模型无关的：未知马尔科夫决策过程的状态转移/奖励。
蒙特卡洛从完整的片段中进行学习：没有使用基于碎片的自举法。
蒙特卡洛策略评估使用经验平均累计奖励而不是期望累计奖励。
（4）蒙特卡洛算法怎么看出估计的是V(s)的值，还是Q(s,a)的值？
Q(s,a)就把更新的式子改为
就可以啦，具体的区分方式：看最后存下来的是对于每个状态有一个V值，还是对于每个状态动作对都有一个Q值就好了
。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
如果大家喜欢这篇文章的话，希望大家收藏、转发、关注、评论、点赞，转载请注明出自这里。 PS：本随笔属个人学习小结，文中内容有参考互联网上的相关文章。如果您博文的链接被我引用，我承诺不会参杂经济利益；如果有版权纠纷，请私信留言。其中如果发现文中有不正确的认知或遗漏的地方请评论告知，谢谢！ 还是那句话：不是我喜欢copy，是站在巨人的肩膀上~~
（1）蒙特卡洛增量更新推导（2）为什么蒙特卡洛算法只能用于可分片段的马尔可夫决策过程？“可分片段"的含义是该马尔可夫决策过程长度有限，这样才能计算”总折扣奖励“，在实际操作中，如果遇到非常长的马尔可夫链或者无限马尔可夫链，会考虑”时序差分学习“。（3）蒙特卡洛特性蒙特卡洛方法：直接从经验片段进行学习。蒙特卡洛是模型无关的：未知马尔科夫决策过程的状态转移/奖励。蒙特卡洛从完整的片段中进行学习：没有使用基于碎片的自举法。蒙特卡洛策略评估使用经验平均累计奖励而不是期望累计奖励。（4）蒙特卡洛算..
最近在和同学讨论研究Six Sigma（六西格玛）软件开发方法及CMMI相关问题时，遇到了需要使用Monte-Carlo算法模拟分布未知的多元一次概率密度分布问题。于是花了几天时间，通过查询相关文献资料，深入研究了一下Monte-Carlo算法，并以实际应用为背景进行了一些实验。
在研究和实验过程中，发现Monte-Carlo算法是一个非常有用的算法，在许多实际问题中，都有用武之地。目前，这个算法已经在金融学、经济学、工程学、物理学、计算科学及计算机科学等多个领域广泛应用。而...
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖…已保研。目前正在
学习
C++/Linux/Python
学习
经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！
初学Python 小白阶段
在
强化
学习
笔记： MDP - Policy iteration_UQI-LIUWJ的博客-CSDN博客中我们提到了Q-table，同时我们说到，对于model-free的MDP，最开始这张 Q 表格会全部初始化为零，然后 agent 会不断地去和环境交互得到不同的轨迹。当交互的次数足够多的时候，我们就可以估算出每一个状态下，每个行动的平均总收益，然后去更新这个 Q 表格。
在没法获取 MDP 的模型情况下，我们可以通过以下两种方法来估计某个给定策略的
价值
：
Monte...
import warnings
from IPython.core.interactiveshell import InteractiveShell
warnings.filterwarnings("ignore")
InteractiveShell.ast_node_interactivity = "all"
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'
数学建模——蒙特卡罗算法概览引例基本思想特点主要应用范围：
蒙特卡洛
方法步骤如下：
蒙特卡洛
求解积分2.两个应用例子3. 与拉斯维加斯方法的比较5.更深度的应用
https://blog.csdn.net/narcissus2_/article/details/99647407
蒙特卡罗方法又称统计模拟法、随机抽样技术，是一种随机模拟方法，以概率和统计理论方法为基础的一种计算方法，是使用随机数（或伪随机数）来解决很多计算问题的方法。将所求解的问题同一定的概率模型相联系，用电子计算机实现统计模拟或抽样，以获
Q-learning和SARSA都属于时序差分
强化
学习
方法，而不是
蒙特卡洛
强化
学习
方法。
时序差分
强化
学习
是一种结合了动态规划和
蒙特卡洛
方法的
强化
学习
方法。它通过使用经验数据进行增量式的更新，同时利用了当前和未来的估计值来逼近最优值函数。
具体来说，Q-learning和SARSA都是基于Q值函数的时序差分
强化
学习
算法。
1. Q-learning：Q-learning是一种基于动态规划的无模型
强化
学习
算法。它使用了时序差分（TD）方法，通过不断迭代更新Q值函数的估计值，使其逼近最优的Q值。Q-learning算法通过将当前状态和动作的估计值与下一个状态和动作的最大估计值相结合，来更新Q值函数的估计值。
2. SARSA：SARSA是一种基于时序差分的
强化
学习
算法，也是一种模型-free的
强化
学习
算法。SARSA算法使用了时序差分的方法，通过不断迭代更新Q值函数的估计值。与Q-learning不同的是，SARSA算法采用了一个策略（Policy）来决定下一个动作，并在更新Q值时使用下一个动作的估计值。
时序差分
强化
学习
方法与
蒙特卡洛
强化
学习
方法相比，具有更高的效率和更好的适应性。它可以在每个时间步骤中进行更新，不需要等到任务结束后才进行更新，从而更快地收敛到最优策略。而
蒙特卡洛
强化
学习
方法则需要等到任务结束后才能获取完整的回报信息，进行全局更新。
