作者归档 | Jason Brownlee

收敛是指过程的极限，在评估优化算法的预期性能时，它可以作为一种有用的分析工具。在探索优化算法以及使用优化算法（例如深度学习神经网络）训练的机器学习算法的学习动态时，它也可以作为一种有用的经验工具。 […]

机器学习涉及使用算法从历史数据中学习和泛化，以便对新数据进行预测。这个问题可以描述为近似一个将输入示例映射到输出示例的函数。可以通过将问题框架化为函数优化来解决函数近似问题。这就是 […]

函数优化是一个基础研究领域，其技术几乎应用于所有定量领域。重要的是，函数优化是几乎所有机器学习算法和预测建模项目的核心。因此，理解函数优化是什么、该领域的术语以及构成 […] 的要素至关重要。

函数优化是一个研究领域，它寻找使函数输出最大化或最小化的输入。存在大量的优化算法，并且在简单易于可视化的测试函数上研究和建立对优化算法的直观理解很重要。一维函数接收 […]

线搜索是一种可用于具有一个或多个变量的目标函数的优化算法。它提供了一种方法，可以使用单变量优化算法（如二分查找）通过搜索从已知点定位每个维度上的最优步长来处理多变量目标函数 […]

梯度下降是一种优化算法，它沿着目标函数的负梯度方向移动，以找到函数的最小值。梯度下降的一个限制是它对每个输入变量使用相同的步长（学习率）。AdaGrad 简称，是梯度下降优化算法的一个扩展 […]

双退火是一种随机全局优化算法。它是广义模拟退火算法的一种实现，是模拟退火的扩展。此外，它还与一种局部搜索算法配对，该算法在模拟退火过程结束时自动执行。这种有效的全局和局部搜索程序的组合提供了 […]

Broyden, Fletcher, Goldfarb 和 Shanno（或 BFGS 算法）是一种局部搜索优化算法。它是一种二阶优化算法，意味着它利用目标函数的二阶导数，属于一类称为拟牛顿方法（它们近似二阶导数，称为 […]）的算法。