输入：无人机和巡检点的状态信息

输出：动作序列、累计奖励和估计值网络

1: 初始化回放缓冲区 $D$

2: 初始化估计值网络参数 $\theta$ ，目标值网络参数 ${\theta }^{\text{*}}$

3: 初始化探索因子 $\epsilon$ ，最小探索因子 ${\epsilon }_{\min }$ ，探索因子下降率 ${\epsilon }_{decay}$ ，批次大小 $B$

4: 循环每次训练周期： $episode=1,epoch$

5: 初始化状态 $s_t$

6: 循环每个时间步： $t=t_0,t_{\Delta T}$

7: 用概率 $\epsilon$ 选择一个随机动作 $a_t$

8: 否则，对当前网络的 $Q$ 值进行掩码操作，选择 $Q$ 值最大的动作 $a_t$

9: 无人机执行动作 $a_t$ ，获得奖励 $r_t$ 和下一时刻状态 $s_{t+1}$

10: 将 $\left(s_t,a_t,r_t,s_{t+1}\right)$ 存储至 $D$ 中

11: 从 $D$ 中均匀随机采样 $B$ 条样本数据 $\left(s_j,a_j,r_j,s_{j+1}\right),j\in \left|B\right|$

12: 根据式(18)计算目标值

13: 进行梯度下降计算

14: 更新估计值网络参数和目标值网络参数

15: 结束时间步循环

16: 根据式(19)更新探索因子 $\epsilon$

17: 结束训练周期循环