使用 SciPy 进行函数优化

作者： Jason Brownlee 于 2021 年 10 月 12 日，发表于优化 16 条评论

优化涉及找到目标函数的输入，使函数的输出达到最小值或最大值。

名为 SciPy 的开源 Python 科学计算库提供了一套优化算法。其中许多算法被用作其他算法的构建块，最著名的是 scikit-learn 库中的机器学习算法。

这些**优化算法**可以直接独立使用来优化函数。最著名的是局部搜索算法和全局搜索算法，这是您在机器学习项目中可能遇到的两种主要优化类型。

在本教程中，您将了解 SciPy 库提供的优化算法。

完成本教程后，您将了解：

SciPy 库提供了适用于不同用途的一套不同优化算法。
SciPy 中可用的局部搜索优化算法。
SciPy 中可用的全局搜索优化算法。

使用我的新书《机器学习优化》**启动您的项目**，其中包括**分步教程**和所有示例的**Python 源代码**文件。

让我们开始吧。

使用 SciPy 进行函数优化
图片由Manoel Lemos提供，保留部分权利。

教程概述

本教程分为三个部分；它们是：

使用 SciPy 进行优化
使用 SciPy 进行局部搜索
使用 SciPy 进行全局搜索

使用 SciPy 进行优化

用于科学计算的 Python SciPy 开源库提供了一套优化技术。

许多算法在 SciPy 库以及 scikit-learn 等机器学习库中用作其他算法的构建块。

在回顾具体技术之前，我们先看看该库提供的算法类型。

它们是

**标量优化**：凸单变量函数的优化。
**局部搜索**：单峰多变量函数的优化。
**全局搜索**：多峰多变量函数的优化。
**最小二乘**：解决线性和非线性最小二乘问题。
**曲线拟合**：将曲线拟合到数据样本。
**求根**：找到函数的根（输出为零的输入）。
**线性规划**：受约束的线性优化。

所有算法都假设正在优化的目标函数是一个最小化函数。如果您的函数是最大化函数，可以通过在目标函数返回的值中添加负号来将其转换为最小化函数。

除了上述列表，该库还提供了某些算法使用的实用函数以及 Rosenbrock 测试问题。

有关 SciPy 库优化功能的良好概述，请参阅

优化和求根 (scipy.optimize) API.

现在我们对该库支持的优化技术类型有了高层次的了解，接下来我们更详细地了解在应用机器学习中更可能使用的两组算法。它们是局部搜索和全局搜索。

想要开始学习优化算法吗？

立即参加我为期7天的免费电子邮件速成课程（附示例代码）。

点击注册，同时获得该课程的免费PDF电子书版本。

使用 SciPy 进行局部搜索

局部搜索，或局部函数优化，指的是寻找函数输入的算法，该输入导致函数或搜索的约束区域的最小或最大输出，其中假设该区域具有单个最优值，例如单峰。

正在优化的函数可能凸也可能不凸，并且可能有一个或多个输入变量。

如果函数被认为是或已知是单峰的，则可以直接应用局部搜索优化来优化函数；否则，局部搜索算法可以用于微调全局搜索算法的结果。

SciPy 库通过 minimize() 函数提供局部搜索。

`minimize()` 函数接受要最小化的目标函数的名称和开始搜索的初始点作为输入，并返回一个 OptimizeResult，该结果总结了搜索的成功或失败以及找到的解决方案的详细信息。

...
# minimize an objective function
result = minimize(objective, point)

...

# 最小化目标函数

result = minimize(objective, point)

如果已知目标函数的额外信息，例如输入变量的边界、计算函数一阶导数（梯度或雅可比矩阵）的函数、计算函数二阶导数（海森矩阵）的函数以及输入的任何约束，都可以提供。

重要的是，该函数提供了“*method*”参数，允许指定局部搜索中使用的具体优化方法。

提供了一套流行的局部搜索算法，例如

Nelder-Mead 算法 (method='Nelder-Mead')。
牛顿法 (method='Newton-CG')。
Powell 方法 (method='Powell')。
BFGS 算法及其扩展 (method='BFGS')。

下面的示例演示了如何使用 L-BFGS-B 局部搜索算法求解二维凸函数。

# l-bfgs-b algorithm local optimization of a convex function
from scipy.optimize import minimize
from numpy.random import rand

# objective function
def objective(x):
	return x[0]**2.0 + x[1]**2.0

# define range for input
r_min, r_max = -5.0, 5.0
# define the starting point as a random sample from the domain
pt = r_min + rand(2) * (r_max - r_min)
# perform the l-bfgs-b algorithm search
result = minimize(objective, pt, method='L-BFGS-B')
# summarize the result
print('Status : %s' % result['message'])
print('Total Evaluations: %d' % result['nfev'])
# evaluate solution
solution = result['x']
evaluation = objective(solution)
print('Solution: f(%s) = %.5f' % (solution, evaluation))

# 凸函数的 l-bfgs-b 算法局部优化

from scipy.optimize import minimize

from numpy.random import rand

# 目标函数

def objective(x):

return x[0]**2.0 + x[1]**2.0

# 定义输入范围

r_min, r_max = -5.0, 5.0

# 将起始点定义为从域中随机采样

pt = r_min + rand(2) * (r_max - r_min)

# 执行 l-bfgs-b 算法搜索

result = minimize(objective, pt, method='L-BFGS-B')

# 总结结果

print('Status : %s' % result['message'])

print('Total Evaluations: %d' % result['nfev'])

# 评估解

solution = result['x']

evaluation = objective(solution)

print('Solution: f(%s) = %.5f' % (solution, evaluation))

运行该示例将执行优化并报告搜索的成功或失败、执行的函数评估次数以及导致函数最优值的输入。

Status : b'CONVERGENCE: NORM_OF_PROJECTED_GRADIENT_<=_PGTOL'
Total Evaluations: 9
Solution: f([3.38059583e-07 3.70089258e-07]) = 0.00000

Status : b'CONVERGENCE: NORM_OF_PROJECTED_GRADIENT_<=_PGTOL'

Total Evaluations: 9

Solution: f([3.38059583e-07 3.70089258e-07]) = 0.00000

现在我们熟悉了使用 SciPy 的局部搜索算法，接下来我们看看全局搜索。

使用 SciPy 进行全局搜索

全局搜索或全局函数优化是指寻找函数输入的算法，该输入导致函数或搜索的约束区域的最小或最大输出，其中假设该区域具有多个局部最优值，例如多峰。

被优化的函数通常是非线性、非凸的，并且可能有一个或多个输入变量。

全局搜索算法通常是随机的，这意味着它们在搜索过程中利用随机性，并且可能在搜索过程中管理或不管理候选解决方案的群体。

SciPy 库提供了许多随机全局优化算法，每种算法都通过不同的函数实现。它们是

通过 basinhopping() 函数进行 Basin Hopping 优化。
通过 differential_evolution() 函数进行差分进化优化。
通过 dual_annealing() 函数进行模拟退火。

该库还提供了用于序列优化的 shgo() 函数和用于网格搜索优化的 brute() 函数。

每个算法都返回一个 OptimizeResult 对象，该对象总结了搜索的成功或失败以及找到的解决方案的详细信息。

下面的示例演示了如何使用模拟退火求解二维多峰函数。

# simulated annealing global optimization for a multimodal objective function
from scipy.optimize import dual_annealing

# objective function
def objective(v):
	x, y = v
	return (x**2 + y - 11)**2 + (x + y**2 -7)**2

# define range for input
r_min, r_max = -5.0, 5.0
# define the bounds on the search
bounds = [[r_min, r_max], [r_min, r_max]]
# perform the simulated annealing search
result = dual_annealing(objective, bounds)
# summarize the result
print('Status : %s' % result['message'])
print('Total Evaluations: %d' % result['nfev'])
# evaluate solution
solution = result['x']
evaluation = objective(solution)
print('Solution: f(%s) = %.5f' % (solution, evaluation))

# 多峰目标函数的模拟退火全局优化

from scipy.optimize import dual_annealing

# 目标函数

def objective(v):

x, y = v

return (x**2 + y - 11)**2 + (x + y**2 -7)**2

# 定义输入范围

r_min, r_max = -5.0, 5.0

# 定义搜索的边界

bounds = [[r_min, r_max], [r_min, r_max]]

# 执行模拟退火搜索

result = dual_annealing(objective, bounds)

# 总结结果

print('Status : %s' % result['message'])

print('Total Evaluations: %d' % result['nfev'])

# 评估解

solution = result['x']

evaluation = objective(solution)

print('Solution: f(%s) = %.5f' % (solution, evaluation))

运行该示例将执行优化并报告搜索的成功或失败、执行的函数评估次数以及导致函数最优值的输入。

Status : ['Maximum number of iteration reached']
Total Evaluations: 4028
Solution: f([-3.77931027 -3.283186 ]) = 0.00000

状态：['已达到最大迭代次数']

总评估次数：4028

解：f([-3.77931027 -3.283186 ]) = 0.00000

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

API

文章

总结

在本教程中，您学习了 SciPy 库提供的优化算法。

具体来说，你学到了：

SciPy 库提供了适用于不同用途的一套不同优化算法。
SciPy 中可用的局部搜索优化算法。
SciPy 中可用的全局搜索优化算法。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

关于此主题的更多信息

从零开始的带动量梯度下降

如何使用优化算法手动拟合回归模型