算法2：评价网络调优

第一步：选择一个初始权向量 ${\hat{W}}_{i k}^{0}$ ，它可以产生允许的策略

第二步：当 $l = 0, 1, \dots$ 时，计算 $e_{H i}^{l}$ 使用

$\begin{matrix} e_{H i}^{l} = {({\hat{W}}_{i}^{l})}^{T} (φ (ε_{i k}) - φ (ε_{i (k + 1)})) - \frac{1}{2} (ε_{i k}^{T} Q_{i i} ε_{i k} + {({\hat{u}}_{i k}^{l})}^{T} R_{i i} {\hat{u}}_{i k}^{l} + \sum_{j \in N_{i}} {({\hat{u}}_{j k}^{l})}^{T} R_{i j} {\hat{u}}_{j k}^{l} \\ - γ^{2} {({\hat{w}}_{i k}^{l})}^{T} T_{i i} {\hat{w}}_{i k}^{l} - γ^{2} \sum_{j \in N_{i}} {({\hat{w}}_{j k}^{l})}^{T} T_{i j} {\hat{w}}_{j k}^{l}) \end{matrix}$ (82)

第三步：我们使用(81)更新权重 ${\hat{W}}_{i}^{l + 1}$ 。

第四步：如果 $‖ {\hat{W}}_{i}^{l + 1} - {\hat{W}}_{i}^{l} ‖ \leq ξ$ ， $ξ$ 是一个小的实数，停止并输出 ${\hat{W}}_{i}^{l}$ ；否则，设置 $l = l + 1$ ，通过下列两个式子更新控制策略 ${\hat{u}}_{i k}^{l}$ 和干扰策略 ${\hat{w}}_{i k}^{l}$ ，返回步骤2。

${\hat{u}}_{i k}^{l} = - (d_{i} + g_{i}) R_{i i}^{- 1} B_{i}^{T} \nabla {\hat{V}}_{i}^{l} (ε_{i (k + 1)})$

${\hat{w}}_{i k}^{l} = \frac{1}{γ^{2}} (d_{i} + g_{i}) T_{i i}^{- 1} D_{i}^{T} \nabla {\hat{V}}_{i k}^{l} (ε_{i (k + 1)})$