Notes on vision,
learning, and systems.

PPO 的 Clip 真的限制了梯度吗？从负 Advantage 下的大 Importance Ratio 说起

从负 Advantage 与极端 Importance Ratio 出发，推导一种保持梯度方向、同时平滑限制更新强度的 surrogate objective。