强化学习读书笔记 sutton大神的书第五章

强化学习读书笔记 Sutton 大神的书第五章 本章主要讲述蒙特卡洛算法在强化学习中的应用，包括蒙特卡洛算法的基本概念、蒙特卡洛算法在强化学习中的应用、访问型蒙特卡洛预测算法、二十一点游戏示例等。 一、蒙特卡洛算法基本概念 蒙特卡洛算法是一种无模型的强化学习算法，它不需要知道概率模型，只需要经验数据。蒙特卡洛算法的基本思想是通过多次采样，计算平均值来近似期望值。 二、蒙特卡洛算法在强化学习中的应用 在强化学习中，我们需要知道状态值函数和动作值函数，这两个函数都是期望值，可以使用蒙特卡洛算法来近似计算。蒙特卡洛算法可以用来估计状态值函数和动作值函数，从而实现强化学习。 三、访问型蒙特卡洛预测算法 访问型蒙特卡洛预测算法是蒙特卡洛算法的一种改进版本，它可以提高数据的利用效率。访问型蒙特卡洛预测算法使用 visit（s，a）这个概念，来提高数据的利用效率。 四、二十一点游戏示例 二十一点游戏是一个典型的强化学习问题，玩家的行为包括要牌或者停牌，状态依赖于玩家的牌和庄家翻开的牌。我们可以使用强化学习来解决这个问题。 五、探索与利用 探索和利用是强化学习中的两个重要概念。探索是指探索新的状态和动作，来获取更多的信息；利用是指利用已有的信息，来实现最优的决策。 六、first-visit MC 和 every-visit MC first-visit MC 和 every-visit MC 是两种不同的蒙特卡洛算法，first-visit MC 只考虑第一次访问的状态，而 every-visit MC 考虑所有访问的状态。在实际应用中，我们可以根据具体情况选择合适的算法。 本章主要讲述了蒙特卡洛算法在强化学习中的应用，包括蒙特卡洛算法的基本概念、蒙特卡洛算法在强化学习中的应用、访问型蒙特卡洛预测算法、二十一点游戏示例等，本章的内容对于读者理解强化学习的基本概念和算法非常有帮助。