[人工智能]A3C学习笔记

Actor-Critic(AC)

Actor-Critic是基于Policy-Gradient的。
在AC基础上有了A2C和A3C，具体介绍：
强化学习AC、A2C、A3C算法原理与实现！
A3C策略参数的梯度更新和Actor-Critic相比，增加了策略 $\pi$的熵（entropy）项，因此参数的更新变成了
熵的求解：当神经网络输出 $\mu$和方差 $\sigma$后，会通过建立一个服从正态分布的概率分布来输出具体的action。entropy就是这个概率分布的熵。
熵的理论公式：高斯分布微分熵的推导

参考

https://zhuanlan.zhihu.com/p/111336330
https://www.cnblogs.com/pinard/p/10334127.html