强化学习（中外学者论AI）

　　《强化学习/中外学者论AI》介绍强化学习原理、算法及其实现。内容涉及基于模型的强化学习、基于采样-估计的强化学习、基于逼近理论的强化学习及深度强化学习等。
　　《强化学习/中外学者论AI》以教学为目标进行选材，力求阐述严谨、重点突出、深入浅出，以便于教学与自学。
　　《强化学习/中外学者论AI》面向所有对强化学习感兴趣的读者，可作为高等学校理工科高年级本科生、研究生强化学习课程教材或参考书。

　　柯良军，博士，西安交通大学教授、博士生导师。2008年获西安交通大学工学博士学位。2011年10月至2012年10月在英国University of Essex访问学习。近期主要从事大规模复杂智能计算与深度强化学习方面研究。在IEEE Transaction on Cybernetic、Omega、European Journal of Operational Research等重要刊物发表论文30余篇，其中SCI检索论文20余篇，出版学术专著1部。担任IEEE Transactions on Evolutionary Computation、IEEE Transaction on Cybernetics、European Journal of Operational Research等国际重要期刊和会议的审稿人。先后主持国家自然科学基金等10余项科研课题。

《强化学习/中外学者论AI》涉及强化学习相关的最基本数学知识、经典强化学习及深度强化学习。《强化学习/中外学者论AI》取材新颖、阐述严谨、内容丰富、重点突出、思路清晰、深入浅出、富有启发性，书中例题都配有计算过程或代码，便于教学与自学。

　　强化学习是人工智能的核心内容之一。掌握强化学习需要概率与统计、运筹学、泛函分析等数学知识，而且强化学习发展迅速、知识更新快，这导致学习强化学习是一件有挑战性的事。本书旨在帮助读者在短时间内理解和运用强化学习。
　　本书的主要特点是：点明问题，以问题为驱动组织内容；注重解释算法的原理；语言力求简练与严谨。
　　本书主要包括以下内容：基于模型的强化学习、基于采样一估计的强化学习、基于逼近理论的强化学习和深度强化学习。前三部分主要参考Richard S.Sutton和Andrew G.Barto的书Reinforcement Learning：An Introduction以及David Silver的课件。第四部分的深度学习参考了吴恩达的深度学习公开课以及David Silver的深度强化学习讲义和相关论文。多智能体强化学习主要参考WangJun等的论文。本书内容由柯良军统稿，王小强整理并解读了部分程序。在写作过程中，作者参考了《机器学习》《强化学习数学基础》以及《深入浅出强化学习》等相关书籍；同时，作者也大量阅读了网络资料。本书在吕同富的Latex模板基础上用TexLive写作。在此，作者对以上所有人员表示感谢！本书得到国家自然科学基金项目（编号：61573277）的资助，在此表示诚挚感谢！
　　作者综合各种素材重新组织内容，从不同的视角将强化学习呈现给读者，衷心希望读者开卷有益！

第1章 绪论
1．1 引言
1．2 解决复杂问题的朴素思想
1．2．1 数学建模与优化
1．2．2 采样和估计
1．2．3 逼近
1．2．4 迭代
1．3 强化学习简史
1．4 本书主要内容及结构
1．5 小结
1．6 习题
参考文献

第2章 基础知识
2．1 运筹学简明基础
2．1．1 无约束非线性规划优化方法
2．1．2 KKT条件
2．1．3 凸规划的性质
2．2 概率与统计简明基础
2．2．1 概率论基本概念
2．2．2 概率论的收敛定理
2．2．3 统计学的基本概念
2．2．4 最大似然估计法
2．2．5 估计量的优良性评估
2．2．6 采样与随机模拟
2．2．7 Monte Carlo方法简介
2．2．8 重要采样法
2．3 小结
2．4 习题
参考文献
第一篇基于模型的强化学习

第3章 多摇臂问题
3．1 动作值方法
3．2 非平稳多摇臂问题
3．3 UCB动作选择
3．4 梯度摇臂算法
3．5 习题
参考文献

第4章 Markov决策过程
4．1 定义和记号
4．2 有限Markov决策过程
4．3 Bellman方程
4．4 最优策略
4．5 小结
4．6 习题
参考文献

第5章 动态规划
5．1 策略评估
5．2 策略改进
5．3 策略迭代
5．4 值迭代
5．5 异步动态规划
5．6 收敛性证明
5．7 小结
5．8 习题
参考文献
第二篇基于采样-估计的强化学习

第6章 策略评估
6．1 基于Monte Carlo方法的策略评估
6．1．1 同策略Monte Carlo策略评估
6．1．2 异策略Monte Carlo策略评估
6．2 基于时序差分方法的策略评估
6．3 n步预测
6．4 小结
6．5 习题
参考文献

第7章 策略控制
7．1 同策略Monte Carlo控制
7．2 同策略时序差分学习
7．3 异策略学习
7．4 基于TD（耄┑牟呗钥刂?
7．5 实例
7．5．1 问题介绍
7．5．2 MDP模型的要素
7．5．3 策略评估
7．5．4 策略控制
7．6 小结
7．7 习题
参考文献

第8章 学习与规划的整合
8．1 模型和规划
8．2 Dyna：整合规划、动作和学习
8．3 几个概念
8．4 在决策关头的规划
8．4．1 启发式算法
8．4．2 rollout算法
8．4．3 Monte Carlo树搜索
8．5 小结
8．6 习题
参考文献
第三篇基于逼近理论的强化学习

第9章 值函数逼近
9．1 基于随机梯度下降法的值函数逼近
9．2 基于随机梯度下降法的Q-值函数逼近
9．3 批处理
9．3．1 线性最小二乘值函数逼近
9．3．2 线性最小二乘Q-值函数逼近
9．4 小结
9．5 习题
参考文献

第10章 策略逼近
10．1 策略梯度法
10．1．1 最优参数问题的目标函数
10．1．2 策略梯度
10．1．3 梯度计算
10．1．4 REINFORCE算法
10．2 方差减少方法
10．2．1 利用一个评论
10．2．2 利用基准线
10．3 小结
10．4 习题
参考文献

第11章 信赖域策略优化
11．1 预备知识
11．2 单调改进一般性随机策略的方法
11．3 参数化策略的优化
11．4 基于采样的目标和约束估计
11．5 实用算法
11．6 小结
11．7 习题
参考文献
第四篇深度强化学习

第12章 深度学习
12．1 神经网络基础
12．1．1 神经网络解决问题的基本流程
12．1．2 激活函数
12．1．3 损失函数
12．1．4 优化算法
12．2 典型深度神经网络结构
12．2．1 深度的作用
12．2．2 卷积神经网络
12．2．3 循环神经网络
参考文献

第13章 深度Q-网络
13．1 DQN原理
13．1．1 预处理
13．1．2 网络结构
13．1．3 算法
13．1．4 深度Q-网络的训练算法
13．1．5 算法详细说明
13．2 DQN实例
13．2．1 Atari 2600游戏介绍
13．2．2 DQN算法的实现
13．3 小结
13．4 习题
参考文献

第14章 深度确定性策略梯度
14．1 DDPG算法介绍
14．1．1 DDPG算法的发展介绍
14．1．2 DDPG算法的原理解析
14．2 DDPG算法的实现
14．2．1 Mujoco的安装及使用
14．2．2 DDPG算法的实现解析
14．2．3 DDPG算法的训练和测试
参考文献

第15章 多智能体强化学习
15．1 多智能体强化学习介绍
15．1．1 多智能体强化学习的发展简述
15．1．2 随机博弈
15．1．3 纳什Q-学习
15．2 平均场多智能体强化学习原理
15．2．1 平均场近似理论
15．2．2 平均场多智能体强化学习算法
15．3 平均场多智能体实验
15．3．1 MAgent平台
15．3．2 混合合作-竞争的战斗游戏介绍
15．3．3 MF-Q和MF-AC算法的实现解析
15．3．4 战斗游戏的训练与测试
参考文献