优化优化器的优化器 Learning to optimize,惊讶于它在解组合优化问题上有优势。
想要看公式,可以阅读与之相关 3 篇论文有:
- Learning to Optimize (伯克利 ICML)
- Learning to Optimize Neural Nets (对上一篇论文做了很小的补充)
- Learning to Optimize: A Primer and A Benchmark
更多解读,可以看:
https://bair.berkeley.edu/blog/2017/09/12/learning-to-optimize-with-rl/
参数θ的优化器,将根据从神经网络一路传递出来的梯度去更新θ,用于最大化评价函数。
对于拟合标