The “no-free-lunch” theorems

1 起源

The “no-free-lunch” theorems (Wolpert & Macready, 1995) have sparked heated debate in the computational learning community.

参考文献:
[1]Simple Explanation of the No-Free-Lunch Theorem and Its Applications, C. Y. Ho & D. L. Pepine, Dec. 2002
[2] Goutte C. Note on Free Lunches and Cross-Validation[J]. Neural Computation. 1997, 9(6): 1245-1249.

2 含义

NFL定理最重要的寓意,是让我们清楚地认识到,脱离具体问题,空泛地谈论”什么学习算法更好“毫无意义,因为若考虑所有潜在的问题,则所有的算法一样好.
要谈论算法的相对优劣,必须要针对具体问题;在某些问题上表现好的学习算法,在另一问题上却可能不尽如人意,学习算法自身的归纳偏好与问题是否相配,往往会起到决定性作用.
——周志华《机器学习》


以前写论文的时候,如果一个算法在一类问题上好用,其他问题上不好用,我会引用这篇文章。

所以,这文章最大的作用就是背黑锅。 这篇文章说白了就是世界上没有全无敌的优化方法。

猜你喜欢

转载自blog.csdn.net/xiaofeixiazyh/article/details/78661793