[人工智能]深度强化学习DRL的学习笔记（随缘更新）

本文主要学习资料为B站视频、相关GitHub代码以及有心人的学习笔记，相关链接如下：

1. 【王树森】深度强化学习(DRL)
2. 王树森深度强化学习GitHub仓库
3. 李宏毅深度强化学习(国语)课程(2018)
4. jessie_weiqing的李宏毅DRL学习笔记

一、专业术语

Agent: 一个嵌入在环境中的能够通过Action改变环境State的系统。例如：在游戏中的马里奥。

State(S): State可以看作是Agent过去的所有Action对环境影响的集合。未来的State取决于当前的State。State空间（S）包含从过去（已知）到未来（可能）所有的State。
如果当前为时间节点为t，则从现在到过去的State均为已观测值，用小写字母表示：$s_1,?,s_t$；未来的State因为尚未发生，因此为随机变量，用大写字母表示：$S_{t+1},S_{t+2},?$。

Action(A): Action是Agent的动作。Action空间（A）包含Agent所有可能的Action，Action的构成可以是离散集，如{上，下，左，右}，也可以是连续集，如[1,100]。
如果当前为时间节点为t，则从现在到过去的Action均为已观测值，用小写字母表示：$a_1,?,a_t$；未来的Action因为尚未发生，因此为随机变量，用大写字母表示：$A_{t+1},A_{t+2},?$。

Reward(R): Reward是Agent在特定环境下做出Action的奖励值。强化学习的目标就是让获得的Reward尽量高。
如果当前为时间节点为t，则从现在到过去的Reward均为已观测值，用小写字母表示：$r_1,?,r_t$；未来的Reward取决于未来的State和Action，因此为随机变量，用大写字母表示：$R_{t+1},R_{t+2},?$。

Policy function(π): 是一个条件概率函数：$\pi (a|s)=P(A=a|S=s)$表示当观察到State为s时，做出Action为a的概率。
注：强化学习学习的就是Policy。AI可以通过Policy函数来控制Agent的Action。Policy最好是随机的。

State transition(p): 在特定环境中，通过Action（A=a）将State（S=s）转化为State（S’）。状态转移函数是一个条件概率密度函数：$p(s^{\prime }|s,a)=P(S^{\prime }=s^{\prime }|S=s,A=a)$。状态转移可以是确定的也可以是随机的，通常为随机的。状态转移的随机性来源于环境。

Environment与Agent的交互：在t时，环境会告诉Agent处于一个State（$S=s_t$）,Agent做出相应的Action（$A=a_t$），环境根据Action给Agent相应的Reward（$R=r_t$），同时环境会更新State（$S=s_{t+1}$），以此类推。

随机性的来源：
1.Action有随机性。通过Policy对Action进行随机抽样。
2.State transition有随机性。环境通过状态转移函数得到转移到下一状态的概率并进行随机抽取。

Trajectory: 轨迹，表示每一步的（State，Action，Reward）。

以下为重要概念：

Return(U): aka cumulative future reward. 表示未来的累计奖励：$$U_t=R_t+R_{t+1}+R_{t+2}+R_{t+3}+?$$由于未来的奖励的重要性低于当前的奖励，因此强化学习中一般会使用Discounted return(aka cumulative discounted future reward)。定义discounted rate（γ∈[0,1]，超参数），若未来的奖励与现在同等重要则γ=1。Discounted return表示为：$$U_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+{\gamma }^3{R}_{t+3}+?$$

Action-value function($Q_{\pi }$): $Q_{\pi }(s_t,a_t)$测量了，在给定Policy（π）与State（$s_t$）的情况下，Action（$a_t$）的价值。用于比较不同Action的优劣。通过求期望的运算可以将未来的随机变量消除，则可以通过给定的π与当前的状态$s_t$决定动作$a_t$的价值。$$Q_{\pi }(s_t,a_t)=E[U_t|S_t=s_t,A_t=a_t)]$$

Optimal action-value function($Q^{?}$): 最优动作价值函数是使得$Q_{\pi }(s_t,a_t)$最大的$Q_{\pi }$。主要用于判断动作的好坏。$$Q^{?}(s_t,a_t)=\underset{\pi }{\max }{Q}_{\pi }(s_t,a_t)$$

State-value function($V_{\pi }$): 状态价值函数测量了，在给定Policy（π）情况下，State（$s_t$）的价值（好坏程度）。可用于判断当前局势的好坏。通过求期望的运算可以将未来的动作（随机变量A）消除，则可以通过给定的π决定当前状态$s_t$的价值。$$V_{\pi }(s_t)=E_A[Q_{\pi }(s_t,A)]$$注：$V_{\pi }$能够评价π的好坏，如果π越好$E_S[V_{\pi }(S)]$越大。

小结：

强化学习的目的就是如何控制Agent，让Agent怎么基于当前状态s做出最优的动作a，争取最终得到最多的奖励r。强化学习通常让AI学习Policy function（$\pi (a|s)$）或者学习Optimal action-value function（$Q^{?}(s,a)$）。前者通过输入当前状态s，算出每一个动作的概率π，进而进行抽样得到动作a；后者则可直接判断当前状态s下所有动作的好坏，进而选出最优的动作a。

二、Value-based learning 价值学习

Deep Q-Network（DQN）

目标：最大化未来的Reward
问题：根据$Q^{?}$得到每一个动作的平均回报，选择平均汇报最高的动作a
挑战：$Q^{?}$难以直接得到，因此价值学习的目的就是获得近似的$Q^{?}$函数
DQN：用神经网络$Q(s,a;\mathbf{w})$近似$Q^{?}(s,a)$函数。DQN的输出是对每一个动作的打分。
训练：
TD算法，无需完成全部任务也能够更新模型的参数。核心思想就是让TD error尽可能等于0。在深度强化学习中， 有如下的公式：$$Q(s_t,a_t;\mathbf{w})\approx r_t+\gamma ?Q(s_{t+1},a_{t+1};\mathbf{w})$$其中，左式是从t时刻看的，右式是从t+1时刻看的。
具体步骤：

1. 已知预测（DQN）：$Q(s_t,a_t;\mathbf{w})$
2. TD target：$$y_t=r_t+\gamma ?Q(s_{t+1},a_{t+1};\mathbf{w})=r_t+\gamma ?\underset{a}{\max }Q(s_{t+1},a_{};\mathbf{w})$$
3. Loss：$L_t=\frac{1}{2}[Q(s_t,a_t;\mathbf{w})?y_t{]}^2$
4. 梯度下降：${\mathbf{w}}_{\mathbf{t}+1}={\mathbf{w}}_{\mathbf{t}}?\alpha ?\frac{?L_t}{?\mathbf{w}}|\mathbf{w}={\mathbf{w}}_{\mathbf{t}}$

三、Policy-based learning 策略学习

Policy函数π会根据输入的状态s输出每一个可能动作的概率值。Agent就可以根据概率对动作进行抽样。只要有一个好的Policy函数，就可以自动控制Agent的动作了。但Policy函数有时很难直接得到，因此仍然可以选择使用神经网络去近似Policy函数。
用神经网络$\pi (a|s;\mathbf{\theta })$近似$\pi (a|s)$函数。其中，$\mathbf{\theta }$为神经网络的参数，随机初始化，通过不断学习进行改进。
将$V_{\pi }(s_t)$中的$\pi$替换成神经网络$\pi (a|s;\mathbf{\theta })$，则$V_{\pi }(s_t)$可以近似写成：$$$V_{\pi }(s;\mathbf{\theta })=\sum _a\pi (a|s;\mathbf{\theta })?Q_{\pi }(s,a)$$该函数可用于评价状态s与策略网络的好坏。给定状态s，策略网络越好则$V_{\pi }(s;\mathbf{\theta })$的值越大。优化策略网络的方法为改进$\mathbf{\theta }$。因此，可以通过对状态S求期望进而消除随机变量S，得到关于$\mathbf{\theta }$的函数：$$J(\mathbf{\theta })=E_S[V(S;\mathbf{\theta })]$$该函数只用于评价策略网络的好坏。

Policy gradient ascent

策略梯度上升法是改进$\mathbf{\theta }$的方法之一，其主要步骤如下：

1. 观测到状态s
2. 梯度上升更新：$\mathbf{\theta }\leftarrow \mathbf{\theta }+\beta ?\frac{?V(s;\mathbf{\theta })}{?\mathbf{\theta }}$，其中$\frac{?V(s;\mathbf{\theta })}{?\mathbf{\theta }}$为策略梯度（Policy gradient）

Policy gradient 策略梯度

策略梯度的两种近似形式：

Form 1: $\frac{?V(s;\mathbf{\theta })}{?\mathbf{\theta }}={\sum }_a\frac{?\pi (a|s;\mathbf{\theta })}{?\mathbf{\theta }}?Q_{\pi }(s,a)$

Form 2: $\frac{?V(s;\mathbf{\theta })}{?\mathbf{\theta }}=E_A[\frac{?log\pi (A|s,\mathbf{\theta })}{?\mathbf{\theta }}?Q_{\pi }(s,A)]$

Form 1适合action space A为离散的；Form 2适合连续的动作。
Form 2的期望是通过蒙特卡洛近似计算出来的，具体步骤如下：

1. 随机抽样得到一个动作$\hat{a}$，这是根据概率函数$\pi (a|s;\mathbf{\theta })$抽取的。
2. 将需要求期望的式子记为$g(\hat{a},\mathbf{\theta })=\frac{?log\pi (\hat{a}|s,\mathbf{\theta })}{?\mathbf{\theta }}?Q_{\pi }(s,\hat{a})$ ，由于$\hat{a}$是一个确定的数，因此直接带入计算即可。
   由于$E[g(A,\mathbf{\theta })]=\frac{?V(s;\mathbf{\theta })}{?\mathbf{\theta }}$，因此$g(\hat{a},\mathbf{\theta })$是$\frac{?V(s;\mathbf{\theta })}{?\mathbf{\theta }}$的无偏估计。
3. 蒙特卡洛近似，即使用$g(\hat{a},\mathbf{\theta })$近似$\frac{?V(s;\mathbf{\theta })}{?\mathbf{\theta }}$
4. 这个近似也可以用于离散的动作

算法

1. 观察到当前状态$s_t$
2. 根据$\pi (?|s_t;{\mathbf{\theta }}_{\mathbf{t}})$，随机抽样得到一个动作$a_t$
3. 计算动作价值函数的值，结果记作：$q_t\approx Q_{\pi }(s_t,a_t)$
4. 计算策略网络的梯度：${\mathbf{d}}_{\mathbf{\theta },t}=\frac{?log\pi (a_t|s_t,\mathbf{\theta })}{?\mathbf{\theta }}|\mathbf{\theta }={\mathbf{\theta }}_{\mathbf{t}}$
5. 蒙特卡洛近似策略梯度：$\mathbf{g}(a_t,{\mathbf{\theta }}_t)=q_t?{\mathbf{d}}_{\mathbf{\theta },t}$
6. 更新策略网络参数：${\mathbf{\theta }}_{t+1}\leftarrow {\mathbf{\theta }}_t+\beta ?\mathbf{g}(a_t,{\mathbf{\theta }}_t)$

算法第三步，近似计算$q_t$的方法有两个：

1. Reinforce算法：记录一轮游戏的Trajectory，得到$u_t$，去近似$Q_{\pi }(s_t,a_t)$，则$q_t=u_t$
2. 用过另一个神经网络近似$Q_{\pi }(s_t,a_t)$

三、