【深度强化学习】蒙特卡洛策略梯度法求解倒立摆问题实战（附源码）

ゝ一纸荒年。 2023-09-30 18:17 122阅读 0赞

> **需要源码请点赞关注收藏后评论区留言~~~**

## 参数化策略 ##

策略梯度法也是直接优化策略的方法，它先参数化策略，并把累积回报作为目标函数，然后用梯度上升法去优化参数使目标函数取得最大值，从而得到最优策略。

将策略确定为一个包含待定参数向量θ的函数π\_θ：π\_θ(a│s)=P(A\_t=a│S\_t=s,θ)

常用的策略参数化方法有Softmax策略和高斯策略，前者用于动作空间较小的离散型强化学习中，后者可应用于连续型强化学习中。

## Softmax策略 ##

Softmax策略先定义一个偏好函数ℎ(s,a,θ)，该函数可看作用一组参数θ去拟合在状态s执行动作a的概率。为了符合概率取值的要求，用Softmax函数来归一化每一(s,a)对的偏好值，得到拟合的策略π\_θ(a│s)：

![d4169f6474814438bb7aefa9b81e734e.png][]

![b079a69b8f23408bb1a35da24365f985.png][]

## 高斯策略 ##

高斯策略认为在状态s执行动作a的概率服从高斯分布。该高斯分布的均值由θ根据状态s来拟合，记为偏好函数u(s,θ)。它的方差σ^2也可根据状态s来拟合，也可以设为固定值。

在状态s执行动作a的概率服从该高斯分布：a~N(u(s,θ),σ^2)

此时，策略函数π\_θ(a│s)可表示为：

![c0cbde3ce32b43ff9879a279a693788d.png][]

## 目标函数 ##

1）将目标函数看作是指定初始状态s\_0（如冰湖问题）在策略π\_θ下累计回报的期望，即s\_0的状态值函数：J(θ)=E\_π\_θ\[G|s\_0┤\]=V\_π\_θ(s\_0)

2）在没有明确初始状态时（如倒立摆控制问题），将目标函数看作是每个状态的累积回报的期望：J(θ)=∑\_s▒d\_π\_θ(s)G\_s

3）在没有终止状态的问题中，将目标函数看作是任一时间步的平均立即回报：

![6c253d422b984669a5abf3417dcaa881.png][]

## 梯度 ##

策略梯度法，实际上就是用梯度上升法去求得使目标函数最大时的策略参数θ。梯度上升法的迭代关系式为：

![4e5f8abdb5154ad9b1f44fe02d8c8468.png][]

其中，∇\_θJ(θ)是目标函数关于系数θ的梯度：

![fd189ffd6a6348069935aa9be4081c68.png][]

三种目标函数对θ的梯度∇\_θJ(θ)都可表示为：

![ead63dbb57b445be974548e286a03c8a.png][]

当采用Softmax策略、偏好函数ℎ(s,a,θ)采用线性函数时，可以证明分值函数∇\_θlogπ\_θ(a│s)为：

![e088898d1a914727a19b0978dcfab8b1.png][]

当采用高斯策略、偏好函数ℎ(s,a,θ)采用线性函数时，可以证明分值函数∇\_θlogπ\_θ(a│s)为：

![a5716297656747f68ab20782c4b6e26b.png][]

动作值函数Q\_π\_θ(s,a)可采用蒙特卡罗法或时序差分法来求得。

## 蒙特卡罗策略梯度法 ##

当采用蒙特卡罗法时，通过尝试得到的轨迹τ，从轨迹τ中得到一系列采样。用单个采样(s\_t,a\_t,G\_t)来近似计算策略梯度均值：

算法流程图如下

![7eee0fd0988642b5a11a14ab1a82433e.png][]

![29e26149d241416485bb8e13de5bf2ed.png][]

标记为（6）的操作中，要计算的累积折扣回报G\_t可由轨迹的立即回报反向递推求得。

![bb999b1c92524cd78bdeb48c4f0586f5.png][]

构建一个结构为（4，10，2）的全连接层神经网络，输出层的激活函数为softmax。

通过尝试得到的轨迹τ，从轨迹τ中得到一系列采样(s\_t,a\_t,G\_t)

在求d\_π\_θ(s)分布下的G\_s的期望时，可用按d\_π\_θ(s)分布进行采样得到的G\_s的样本的均值来近似。 网络的训练样本的标签设为\[G\_t,0\]或\[0,G\_t\]

训练结果如下

![cfe9677c12424515a9bfff02446db2da.png][]

![a82c13dbbf8a46daad4cbb2069fb166c.png][]

部分代码如下

# Softmax网络
    model_softmax = keras.models.Sequential([
        layers.Dense(10, input_dim=env.observation_space.shape[0], activation='relu'),
        layers.Dense(env.action_space.n, activation="softmax")
    ])
    model_softmax.compile(loss='mean_squared_error', optimizer=optimizers.Adam(0.001))
    
    n_episodes = 1000  
    episode_score_list = []
    for i in range(n_episodes):
        s = env.reset()
        score = 0 # 记每次得分
        tau = []
        while True:
            pi_s = model_softmax.predict( np.array([s]) )[0] # 状态s的策略
            a = np.random.choice( len(pi_s), p=pi_s ) # 按概率大小随机确定要执行的动作
            next_s, r, done, _ = env.step( a )
            tau.append( [s, a, r] )
    
            score += r
            s = next_s
            if done:
                break
        
        X = [ step[0] for step in tau ]
        y = [ [1 if step[1] == i else 0 for i in range(env.action_space.n)] for step in tau ]
        G = G_seq( [step[2] for step in tau] )
        model_softmax.fit(np.array(X), np.array(y), sample_weight=np.array(G), epochs=10, verbose=0)
    
        episode_score_list.append(score)
        print('尝试次数:', i+1, ' ,得分:', score)
        
        # 10次尝试后，输出中间信息
        if (i+1) % 10 == 0:
            print("\n--最近{}次平均得分:{:.1f}\n".format(10, np.mean(episode_score_list[-10:]) ) )
    
        # 最近10次的平均分大于180时，不再训练
        if np.mean(episode_score_list[-10:]) > 180:
            print("\n\n***最近10次的平均分大于180，完成！！！***")
            break

**创作不易 觉得有帮助请点赞关注收藏~~~**

[d4169f6474814438bb7aefa9b81e734e.png]: https://img-blog.csdnimg.cn/d4169f6474814438bb7aefa9b81e734e.png
[b079a69b8f23408bb1a35da24365f985.png]: https://img-blog.csdnimg.cn/b079a69b8f23408bb1a35da24365f985.png
[c0cbde3ce32b43ff9879a279a693788d.png]: https://img-blog.csdnimg.cn/c0cbde3ce32b43ff9879a279a693788d.png
[6c253d422b984669a5abf3417dcaa881.png]: https://img-blog.csdnimg.cn/6c253d422b984669a5abf3417dcaa881.png
[4e5f8abdb5154ad9b1f44fe02d8c8468.png]: https://img-blog.csdnimg.cn/4e5f8abdb5154ad9b1f44fe02d8c8468.png
[fd189ffd6a6348069935aa9be4081c68.png]: https://img-blog.csdnimg.cn/fd189ffd6a6348069935aa9be4081c68.png
[ead63dbb57b445be974548e286a03c8a.png]: https://img-blog.csdnimg.cn/ead63dbb57b445be974548e286a03c8a.png
[e088898d1a914727a19b0978dcfab8b1.png]: https://img-blog.csdnimg.cn/e088898d1a914727a19b0978dcfab8b1.png
[a5716297656747f68ab20782c4b6e26b.png]: https://img-blog.csdnimg.cn/a5716297656747f68ab20782c4b6e26b.png
[7eee0fd0988642b5a11a14ab1a82433e.png]: https://img-blog.csdnimg.cn/7eee0fd0988642b5a11a14ab1a82433e.png
[29e26149d241416485bb8e13de5bf2ed.png]: https://img-blog.csdnimg.cn/29e26149d241416485bb8e13de5bf2ed.png
[bb999b1c92524cd78bdeb48c4f0586f5.png]: https://img-blog.csdnimg.cn/bb999b1c92524cd78bdeb48c4f0586f5.png
[cfe9677c12424515a9bfff02446db2da.png]: https://img-blog.csdnimg.cn/cfe9677c12424515a9bfff02446db2da.png
[a82c13dbbf8a46daad4cbb2069fb166c.png]: https://img-blog.csdnimg.cn/a82c13dbbf8a46daad4cbb2069fb166c.png