强化学习与深度学习：通过C语言模拟

《强化学习与深度学习：通过C语言模拟》以深度学习和强化学习作为切入点，通过原理解析、算法步骤说明、代码实现、代码运行调试，对强化学习、深度学习以及深度强化学习进行了介绍和说明。本书共4章。第1章介绍了人工智能、机器学习、深度学习、强化学习的基本概念。第2章以Q学习为例，重点介绍了强化学习的原理、算法步骤、代码实现、代码运行调试。第3章先对深度学习的几种常见的类型和原理进行介绍，然后给出了例程和调试方法。第4章以Q学习中运用神经网络为例，介绍了深度强化学习的基本原理和方法，同时也给出了例程和调试方法。

在人工智能的学习热潮中，深度学习和强化学习无疑是亮眼的两个明星。掌握深度学习原理，理解强化学习概念，对于能够在人工智能发展中立于有利之地的您，无疑是必须且非常重要的。《强化学习与深度学习:通过C语言模拟》不仅综合了两种学习的概念，更重要是给出了多个有趣且生动的案例，为您的学习铺平了道路。

原书前言

近年来，被称为“深度学习”的机器学习方法在诸多领域取得了成功。深度学习诞生 之初，在图像处理领域中为图像识别率取得历史性突破做出了非常大的贡献。随后，随着深 度学习的不断发展，深度学习不局限于应用在图像处理领域，在各种各样的机器学习应用领 域都取得了非常显著的成果。

在深度学习的成功案例中，有一个基于强化学习的深度学习技术应用方向。强化学习是 单纯从一系列行动的结果进行行动知识学习的方法。在强化学习中引入深度学习的方法，一 般我们称为深度强化学习。关于深度强化学习成功案例的应用报道非常多，例如，通过运用 深度强化学习，计算机能够在汽车转向盘操控方面获得超越人类的技能;通过运用深度强化 学习，可以制造出能够打败围棋世界冠军的AI围棋棋手等。

本书首先对强化学习和深度学习的基础知识进行介绍，然后在此基础上，再对深度强化 学习的原理和机制进行具体说明。同时，本书不仅仅是在概念上的说明，而是对具体算法用 C语言进行了编码和实现，通过实际运行代码的方式去深入理解每一步的具体处理方法。

最后，本书能够顺利成书，离不开作者在福井大学的教育科研活动中取得的经验。在此 向福井大学的各位教职工和学生表示衷心的感谢。另外，借成书之际，也特别对Ohmsha出 版社的各位编辑表示由衷的感谢。最后，我也要感谢支持我写作的家人们。

小高知宏

2017年9月

目录

译者序

原书前言

第1章 强化学习和深度学习

1.1 机器学习和强化学习

1.1.1 人工智能

1.1.2 机器学习

1.1.3 强化学习

1.2 深度学习

1.2.1 神经网络

1.2.2 深度学习的出现

1.3 深度强化学习

1.3.1 深度强化学习概述

1.3.2 深度强化学习的实现

1.3.3 基本机器学习系统的搭建实例———例题程序的执行方法

第2章 强化学习的实例

2.1 强化学习和Q学习

2.1.1 强化学习的基本思想

2.1.2 Q学习的算法

2.2 Q学习实例

2.2.1 q21.c编程实例

2.2.2 目标探寻问题的学习程序

第3章 深度学习技术

3.1 实现深度学习的技术

3.1.1 神经细胞的活动和阶层型 神经网络

3.1.2 阶层型神经网络的学习

3.1.3 阶层型神经网络的编程实 例（1）:单个神经细胞的学习程序nn1.c

3.1.4 阶层型神经网络的编程实 例（2）:基于误差逆传播法的神经网络学习程序nn2.c

3.1.5 阶层型神经网络的编程实 例（3）:具有多个输出的神经网络学习程序nn3.c

3.2 基于卷积神经网络的学习

3.2.1 卷积神经网络的算法

3.2.2 卷积神经网络的编程实例

第4章 深度强化学习

4.1 基于强化学习和深度学习融合的深度强化学习 1

4.1.1 在Q学习中应用神经网络

4.1.2 Q学习与神经网络的融合

4.2 深度强化学习的编程实例

4.2.1 岔路选择问题的深度强化学 习程序q21dl.c

4.2.2 目标探寻问题的深度强化学 习程序q22dl.c

参考文献