算法：资格迹–梯度算法

1. 输入：K，最大迭代次数M，采样轨迹数N，幕长T，随机项参数r，维度D

2. for $n=0,1,\cdots ,N-1$ ：

3. for $i=0,1,\cdots ,I-1$ ：

4. for $t=0,1,\cdots ,T-1$ ：

1) 从 $x_0^i\in \mathcal{D}$ 开始，根据 $\left(K_{-t},{\widehat{K}}_t^i\right)=\left(K_0,\cdots ,K_{t-1},{\widehat{K}}_t^i,K_{t+1},\cdots ,K_{T-1}\right)$ 采样，

其中 ${\widehat{K}}_t^i=K_t+U_t^{ni}$ ${\Vert U_t^{ni}\Vert }_F=r$ .

2) 记录单幕代价 ${\widehat{c}}_t^i$ .

5. 计算资格迹的估计值：

${\widehat{\delta }}_t^n=\{\begin{array}{ll}\frac{1}{I}{\displaystyle \sum _{i=0}^{I-1}\frac{D}{r^2}{\widehat{c}}_t^i{U}_t^i}\hfill & n=0\hfill \\ \lambda {\widehat{\delta }}_t^{n-1}+\frac{1}{I}{\displaystyle \sum _{i=0}^{I-1}\frac{D}{r^2}{\widehat{c}}_t^i{U}_t^i}\hfill & n>0\hfill \end{array}$

6. $K^{n+1}=K^n-\alpha {\widehat{\delta }}^n$