parameter sever原理

我认为是在更新的时候。获取parameter sever里的值。这个值应该是最新的那个值。然后计算每个worker的更新梯度。将每个worker更新后的梯度传到parameter sever中。进行同步操作（这里面操作可以根据实际情况设定规则）。