算法1 3DQN_MDAM算法训练流程

输入：采样时间步t交叉口的原始交通状态s_t

初始化：当前Q网络参数 $\Theta =\left\{\theta ,\beta ,\omega \right\}$ 、目标Q网络参数 $\overline{\Theta }=\left\{\overline{\theta },\overline{\beta },\overline{\omega }\right\}$ ( $\overline{\Theta }=\Theta$ )；

for $e\in \left\{1,2,\cdots ,episodes\right\}$ do

重置交叉口环境；

for $t\in \left\{1,2,\cdots ,T/T_g\right\}$ do

智能体观测交叉口环境获得当前状态s_t；

s_t经过嵌有MDAM的特征提取网络以构建状态特征图的通道依赖和空间依赖关系，利用式(18)获得隐藏状态 ${\widehat{s}}_t$ ；

隐藏状态 ${\widehat{s}}_t$ 经过策略评估网络，利用式(19)计算当前Q值 $Q_t$ ；

以 $\epsilon$ 的概率从动作空间A中随机选择一个动作 $a_t$ ，否则取 $a_t=\arg {\max }_{a^{\prime }}{Q}_t$ ；

智能体执行当前动作 $a_t$ 后，进入下一个状态 $s_{t+1}$ ，并由式(1)计算环境当前反馈的奖励 $r_t$ ，将序列 $\left(s_t,a_t,r_t,s_{t+1}\right)$ 存放在经验回放缓冲区B中；

if $\left|B\right|\ge N_B$ then 溢出旧的经验数据；

end for

for $n\in \left\{1,2,\cdots ,N\right\}$ do

从缓冲区B中随机抽取一小批量经验数据，利用式(20)计算损失函数 $L\left(\Theta \right)$ ；

更新当前Q网络参数 $\Theta =\Theta -\alpha \times {\nabla }_{\Theta }L\left(\Theta \right)$ ；

if $n\%N_c==0$ then $\overline{\Theta }=\Theta$ ;

end for

end for

输出：更新后的Q网络参数 $\Theta$