强化学习

封面

版权页

内容简介

插图

序言

自序

前言

第1章 强化学习概述

1.1 强化学习的背景

1.2 强化学习初探

1.3 强化学习的重点概念

1.4 小结

1.5 习题

第2章 马尔可夫决策过程

2.1 马尔可夫基本概念

2.2 贝尔曼方程

2.3 最优策略

2.4 小结

2.5 习题

第3章 动态规划

3.1 动态规划简介

3.2 策略评估

3.3 策略改进

3.4 策略迭代

3.5 值迭代

3.6 实例讲解

3.7 小结

3.8 习题

第4章 蒙特卡罗

4.1 蒙特卡罗简介

4.2 蒙特卡罗评估

4.3 蒙特卡罗控制

4.4 在线策略蒙特卡罗

4.5 离线策略蒙特卡罗

4.6 实例讲解

4.7 小结

4.8 习题

第5章 时序差分

5.1 时序差分简介

5.2 三种方法的性质对比

5.3 Sarsa：在线策略TD

5.4 Q-learning：离线策略TD方法

5.5 实例讲解

5.6 小结

5.7 习题

第6章 资格迹

6.1 资格迹简介

6.2 多步TD评估

6.3 前向算法

6.4 后向算法

6.5 前向算法与后向算法的统一

6.6 Sarsa（λ）方法

6.7 Q（λ）方法

6.8 实例讲解

6.9 小结

6.10 习题

第7章 值函数逼近

7.1 值函数逼近简介

7.2 线性逼近

7.3 非线性逼近

7.4 实例讲解

7.5 小结

7.6 习题

第8章 随机策略梯度

8.1 随机策略梯度简介

8.2 随机策略梯度定理及证明

8.3 蒙特卡罗策略梯度

8.4 TRPO方法

8.5 实例讲解

8.6 小结

8.7 习题

第9章 Actor-Critic及变种

9.1 AC方法

9.2 A2C方法

9.3 A3C方法

9.4 实例讲解

9.5 小结

9.6 习题

第10章 确定性策略梯度

10.1 确定性策略梯度及证明

10.2 DPG方法

10.3 DDPG方法

10.4 实例讲解

10.5 小结

10.6 习题

第11章 学习与规划

11.1 有模型方法和无模型方法

11.2 模型拟合

11.3 Dyna框架及相关算法

11.5 实例讲解

11.6 小结

11.7 习题

第12章 探索与利用

12.1 探索-利用困境

12.2 多臂赌博机问题

12.3 朴素探索

12.4 乐观初始值估计

12.5 置信区间上界

12.6 概率匹配

12.7 信息价值