Algorthm大规模路口信号灯决策下的DQN

1) 输入：初始化主网络 $q^0$ ，目标网络 $q^1$ ，设定相关超参数

2) 初始化经验回放D至容量N的经验池中

3) 随机权重 $\theta$ 初始化动作价值函数Q的权重 ${\theta }^{\prime }=\theta$ ，设定相关超参数

4) 对于每个回合：

5) 初始化交通系统环境中交通流及每个智能体的状态 $S_0$ ；

6) 如果回合未结束：

7) 在 $\epsilon$ 的情况下选择随机动作 $a_t$ 进行决策；

8) 否则：根据环境 $S_t$ 和主网络选择动作 $a_t=\arg {\max }_a{q}^0\left(s_t,a_t,\theta \right)$

进行信号灯决策继续保持当前相位还是切换下一相位；

根据得到动作在环境中执行相位；如果相位变化则先执行3s黄灯，

周期结束根据交通流状态 $s_t$ ，得到奖励 $r_t$ ，和新状态 $s_{t+1}$ ；

9) 将四元组 $\left(s_t,a_t,r_t,s_{t+1}\right)$ 存入到经验池D中；

10) 从经验池D中随机采样出一小批经验；

11) 计算当前目标估计值 $y_i=\{\begin{array}{l}{r}_t,迭代至最后一步\\ r_t+\gamma \arg {\max }_a{q}^0\left(s_t,a_t,\theta \text{'}\right),否则\end{array}$ ；

12) 更新主网络 $q^0$ ，以 ${\left(y_i-Q\left(s_t,a_t,\theta \right)\right)}^2$ 为目标值做梯度下降；

13) 将新的交通系统环境状态定义为当前状态 $s_{t+1}=s_t$ ；

14) 在一定步数后，用主网络的权重更新目标网络 $q^1=q^0$ ；

15) 直到迭代结束，当前交通系统环境 $s_t$ 是终止状态

16) 输出：训练后的主神经网络 $q^0$