蘑菇书EasyRL

李宏毅老师的《深度强化学习》是强化学习领域经典的中文视频之一。李老师幽默风趣的上课风格让晦涩难懂的强化学习理论变得轻松易懂，他会通过很多有趣的例子来讲解强化学习理论。比如老师经常会用玩 Atari 游戏的例子来讲解强化学习算法。此外，为了教程的完整性，我们整理了周博磊老师的《强化学习纲要》、李科浇老师的《世界冠军带你从零实践强化学习》以及多个强化学习的经典资料作为补充。对于想入门强化学习又想看中文讲解的人来说绝对是非常推荐的。

本教程也称为“蘑菇书”，寓意是希望此书能够为读者注入活力，让读者“吃”下这本蘑菇之后，能够饶有兴致地探索强化学习，像马里奥那样愈加强大，继而在人工智能领域觅得意外的收获。

贡献者

Qi Wang 教程设计(第1~12章) 上海交通大学博士生 中国科学院大学硕士

Yiyuan Yang 习题设计&第13章 牛津大学博士生 清华大学硕士

John Jim 算法实战 北京大学硕士

使用说明

• 第 4 章到第 11 章为李宏毅《深度强化学习》的部分；
• 第 1 章和第 2 章根据《强化学习纲要》整理而来；
• 第 3 章和第 12 章根据《世界冠军带你从零实践强化学习》 整理而来。

纸质版

推荐购买链接：京东 | 当当

推荐京东扫码购买

当当扫码购买

豆瓣评分：https://book.douban.com/subject/35781275/

[!IMPORTANT] 勘误修订表：https://datawhalechina.github.io/easy-rl/#/errata

在线阅读(内容实时更新)

地址：https://datawhalechina.github.io/easy-rl/

最新版PDF下载

地址：https://github.com/datawhalechina/easy-rl/releases

国内地址：链接: https://pan.baidu.com/s/1isqQnpVRWbb3yh83Vs0kbw 提取码: us6a

压缩版(推荐网速较差的读者使用，文件小，图片分辨率较低)：链接: https://pan.baidu.com/s/1mUECyMKDZp-z4-CGjFhdAw 提取码: tzds

纸质版和PDF版的区别

PDF版本是全书初稿，人民邮电出版社的编辑老师们对初稿进行了反复修缮，最终诞生了纸质书籍，在此向人民邮电出版社的编辑老师的认真严谨表示衷心的感谢！（附：校对样稿）

内容导航

章节	习题	相关项目	配套代码
第一章 强化学习基础	第一章 习题
第二章 马尔可夫决策过程 (MDP)	第二章 习题		值迭代算法
第三章 表格型方法	第三章 习题	Q-learning算法实战	Q-learning，Sarsa，蒙特卡洛
第四章 策略梯度	第四章 习题		策略梯度
第五章 近端策略优化 (PPO) 算法	第五章 习题		PPO
第六章 DQN (基本概念)	第六章 习题		DQN
第七章 DQN (进阶技巧)	第七章 习题	DQN算法实战	Double DQN，Dueling DQN，PER DQN，Noisy DQN
第八章 DQN (连续动作)	第八章 习题
第九章 演员-评论员算法	第九章 习题		A2C
第十章 稀疏奖励	第十章 习题
第十一章 模仿学习	第十一章 习题
第十二章 深度确定性策略梯度 (DDPG) 算法	第十二章 习题	DDPG算法实战	DDPG
第十三章 AlphaStar 论文解读
ICLR'25 Oral 强化学习玩MineCraft
视觉强化学习论文清单（Awesome Visual RL）
世界模型的本质

算法实战

算法实战部分包括附书代码和JoyRL代码：

• 蘑菇书附书代码
• JoyRL离线版
• JoyRL上线版

经典强化学习论文解读

点击或者网页点击papers文件夹进入经典强化学习论文解读

扩展资源

• 对强化学习玩我的世界（Minecraft）游戏感兴趣的读者，可阅读 LS-Imagine
• 对视觉强化学习感兴趣的读者，可阅读Awesome Visual RL
• 对深度学习感兴趣的读者，可阅读李宏毅深度学习教程LeeDL-Tutorial

相关视频内容

• 《Datawhale强化学习教程》出版
• 蘑菇书起源与RL入门指南
• 蘑菇书开源组队学习活动
• 蘑菇书开源学习与成长

引用信息

王琦，杨毅远，江季，Easy RL：强化学习教程，人民邮电出版社，https://github.com/datawhalechina/easy-rl, 2022.
Qi Wang, Yiyuan Yang, Ji Jiang，Easy RL: Reinforcement Learning Tutorial，Posts & Telecom Press，https://github.com/datawhalechina/easy-rl, 2022.

@book{wang2022easyrl,
title = {Easy RL：强化学习教程},
publisher = {人民邮电出版社},
year = {2022},
author = {王琦，杨毅远，江季},
address = {北京},
isbn = {9787115584700},
url = {https://github.com/datawhalechina/easy-rl}
}

@book{wang2022easyrl,
title = {Easy RL: Reinforcement Learning Tutorial},
publisher = {Posts & Telecom Press},
year = {2022},
author = {Qi Wang, Yiyuan Yang, Ji Jiang},
address = {Beijing},
isbn = {9787115584700},
url = {https://github.com/datawhalechina/easy-rl}
}

如果您需要转载该教程的内容，请注明出处：https://github.com/datawhalechina/easy-rl。

致谢

特别感谢 @Sm1les、@LSGOMYP 对本项目的帮助与支持。

另外，十分感谢大家对于Easy-RL的关注。

关注我们

扫描下方二维码关注公众号：Datawhale，回复关键词“Easy-RL”，即可加入“Easy-RL读者交流群”

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

Star History