Python 中的 Basin Hopping 优化

作者： Jason Brownlee 发布于 2021 年 10 月 12 日在优化 23

盆地跳跃是一种全局优化算法。

它最初是为了解决化学物理学中的问题而开发的，但它也是一种适用于具有多个最优值的非线性目标函数的有效算法。

在本教程中，您将了解盆地跳跃全局优化算法。

完成本教程后，您将了解：

盆地跳跃优化是一种全局优化算法，它利用随机扰动跳跃盆地，并利用局部搜索算法优化每个盆地。
如何在 Python 中使用盆地跳跃优化算法 API。
使用盆地跳跃解决具有多个最优值的全局优化问题的示例。

用我的新书《机器学习优化》启动您的项目，包括分步教程和所有示例的Python 源代码文件。

让我们开始吧。

Python 中的 Basin Hopping 优化
图片由 Pedro Szekely 提供，保留部分权利。

教程概述

本教程分为三个部分；它们是：

盆地跳跃优化
盆地跳跃 API
盆地跳跃示例
1. 具有局部最优的多模态优化
2. 具有多个全局最优的多模态优化

盆地跳跃优化

盆地跳跃是一种为化学物理学领域开发设计的全局优化算法。

盆地跳跃 (BH) 或蒙特卡洛最小化 (MCM) 是迄今为止化学物理学中最可靠的算法，用于搜索原子簇和高分子系统的最低能量结构。

—— 偶尔跳跃的盆地跳跃，2004 年。

局部优化是指旨在为单变量目标函数定位最优值或在被认为存在最优值的区域中操作的优化算法。而全局优化算法旨在在潜在的多个局部（非全局）最优值中定位单个全局最优值。

盆地跳跃由 David Wales 和 Jonathan Doye 在他们 1997 年的论文“通过盆地跳跃和包含多达 110 个原子的 Lennard-Jones 簇的最低能量结构进行全局优化”中描述。

该算法涉及循环两个步骤，即扰动良好的候选解和将局部搜索应用于扰动解。

[盆地跳跃]将复杂的能量景观转换为盆地集合，并通过跳跃探索它们，这通过随机蒙特卡洛移动和使用 Metropolis 准则的接受/拒绝来实现。

—— 偶尔跳跃的盆地跳跃，2004 年。

扰动允许搜索算法跳跃到搜索空间的新区域，并可能找到导致不同最优值的新盆地，例如技术名称中的“盆地跳跃”。

局部搜索允许算法遍历新盆地以达到最优值。

新的最优值可以保留作为新随机扰动的基础，否则将被丢弃。保留新解的决定由具有“温度”变量的随机决策函数控制，非常类似于模拟退火。

温度根据算法的迭代次数进行调整。这允许在运行初期温度高时接受任意解，并在搜索后期温度低时采用更严格的策略只接受质量更好的解。

通过这种方式，该算法很像具有不同（扰动）起始点的迭代局部搜索。

该算法运行指定次数的迭代或函数评估，并且可以多次运行以增加对全局最优值已被定位或已定位相对良好解的信心。

现在我们已经从高层次上熟悉了基本跳跃算法，接下来让我们看看 Python 中盆地跳跃的 API。

想要开始学习优化算法吗？

立即参加我为期7天的免费电子邮件速成课程（附示例代码）。

点击注册，同时获得该课程的免费PDF电子书版本。

盆地跳跃 API

Python 中通过 basinhopping() SciPy 函数提供盆地跳跃功能。

该函数接受要最小化的目标函数的名称和初始起始点。

...
# perform the basin hopping search
result = basinhopping(objective, pt)

...

# 执行盆地跳跃搜索

结果 = basinhopping(目标, pt)

另一个重要的超参数是通过“niter”参数设置的运行搜索的迭代次数，默认为 100 次。

这可以设置为数千次迭代或更多。

...
# perform the basin hopping search
result = basinhopping(objective, pt, niter=10000)

...

# 执行盆地跳跃搜索

结果 = basinhopping(目标, pt, niter=10000)

应用于候选解的扰动量可以通过“步长”控制，该步长定义了在问题域边界范围内应用的最大变化量。默认情况下，它设置为 0.5，但应设置为域中可能允许搜索找到新盆地的合理值。

例如，如果搜索空间的合理边界是 -100 到 100，那么 5.0 或 10.0 单位的步长可能是合适的（例如，域的 2.5% 或 5%）。

...
# perform the basin hopping search
result = basinhopping(objective, pt, stepsize=10.0)

...

# 执行盆地跳跃搜索

结果 = basinhopping(目标, pt, stepsize=10.0)

默认情况下，使用的局部搜索算法是“L-BFGS-B”算法。

这可以通过将“minimizer_kwargs”参数设置为具有“method”键和作为要使用的局部搜索算法名称的值（例如“nelder-mead”）的目录来更改。可以使用 SciPy 库提供的任何局部搜索算法。

...
# perform the basin hopping search
result = basinhopping(objective, pt, minimizer_kwargs={'method':'nelder-mead'})

...

# 执行盆地跳跃搜索

结果 = basinhopping(目标, pt, minimizer_kwargs={'method':'nelder-mead'})

搜索结果是一个 OptimizeResult 对象，其属性可以像字典一样访问。搜索的成功（或不成功）可以通过“success”或“message”键访问。

函数评估的总次数可以通过 ‘nfev’ 访问，搜索找到的最优输入可以通过 ‘x’ 键访问。

现在我们熟悉了 Python 中的盆地跳跃 API，接下来我们看一些实际示例。

盆地跳跃示例

在本节中，我们将通过一些示例来了解如何在多模态目标函数上使用盆地跳跃算法。

多模态目标函数是那些具有多个最优值的函数，例如一个全局最优值和许多局部最优值，或者多个具有相同目标函数输出的全局最优值。

我们将通过盆地跳跃在这两种函数上的示例进行说明。

具有局部最优的多模态优化

Ackley 函数是一个目标函数的例子，它具有一个单一的全局最优值和多个局部最优值，局部搜索可能会陷入其中。

因此，需要一种全局优化技术。它是一个二维目标函数，在 [0,0] 处有全局最优解，其值为 0.0。

下面的例子实现了 Ackley 函数并创建了一个三维曲面图，显示了全局最优解和多个局部最优解。

# ackley multimodal function
from numpy import arange
from numpy import exp
from numpy import sqrt
from numpy import cos
from numpy import e
from numpy import pi
from numpy import meshgrid
from matplotlib import pyplot
from mpl_toolkits.mplot3d import Axes3D

# objective function
def objective(x, y):
	return -20.0 * exp(-0.2 * sqrt(0.5 * (x**2 + y**2))) - exp(0.5 * (cos(2 * pi * x) + cos(2 * pi * y))) + e + 20

# define range for input
r_min, r_max = -5.0, 5.0
# sample input range uniformly at 0.1 increments
xaxis = arange(r_min, r_max, 0.1)
yaxis = arange(r_min, r_max, 0.1)
# create a mesh from the axis
x, y = meshgrid(xaxis, yaxis)
# compute targets
results = objective(x, y)
# create a surface plot with the jet color scheme
figure = pyplot.figure()
axis = figure.gca(projection='3d')
axis.plot_surface(x, y, results, cmap='jet')
# show the plot
pyplot.show()

# ackley 多峰函数

from numpy import arange

from numpy import exp

from numpy import sqrt

from numpy import cos

from numpy import e

from numpy import pi

from numpy import meshgrid

from matplotlib import pyplot

from mpl_toolkits.mplot3d import Axes3D

# 目标函数

def 目标(x, y):

返回 -20.0 * exp(-0.2 * sqrt(0.5 * (x**2 + y**2))) - exp(0.5 * (cos(2 * pi * x) + cos(2 * pi * y))) + e + 20

# 定义输入范围

r_min, r_max = -5.0, 5.0

# 以 0.1 为增量均匀采样输入范围

xaxis = arange(r_min, r_max, 0.1)

yaxis = arange(r_min, r_max, 0.1)

# 从坐标轴创建网格

x, y = meshgrid(xaxis, yaxis)

# 计算目标值

结果 = 目标(x, y)

# 使用 jet 配色方案创建曲面图

图形 = pyplot.图形()

轴 = 图形.gca(投影='3d')

轴.plot_surface(x, y, 结果, cmap='jet')

# 显示绘图

pyplot.show()

运行该示例会创建 Ackley 函数的曲面图，显示大量的局部最优解。

3D Surface Plot of the Ackley Multimodal Function

Ackley 多峰函数的三维曲面图

我们可以将盆地跳跃算法应用于 Ackley 目标函数。

在这种情况下，我们将使用从输入域 -5 到 5 之间随机抽取的一个点作为搜索的起点。

...
# define the starting point as a random sample from the domain
pt = r_min + rand(2) * (r_max - r_min)

...

# 将起始点定义为从域中随机采样

pt = r_min + rand(2) * (r_max - r_min)

我们将使用 0.5 的步长、200 次迭代和默认的局部搜索算法。此配置是经过几次试错后选择的。

...
# perform the basin hopping search
result = basinhopping(objective, pt, stepsize=0.5, niter=200)

...

# 执行盆地跳跃搜索

结果 = basinhopping(目标, pt, 步长=0.5, niter=200)

搜索完成后，它将报告搜索状态和执行的迭代次数，以及找到的最佳结果及其评估。

...
# summarize the result
print('Status : %s' % result['message'])
print('Total Evaluations: %d' % result['nfev'])
# evaluate solution
solution = result['x']
evaluation = objective(solution)
print('Solution: f(%s) = %.5f' % (solution, evaluation))

...

# 总结结果

print('状态 : %s' % 结果['消息'])

print('总评估次数：%d' % 结果['nfev'])

# 评估解

解 = 结果['x']

评估 = 目标(解)

print('解：f(%s) = %.5f' % (解, 评估))

综上所述，将盆地跳跃应用于 Ackley 目标函数的完整示例列举如下。

# basin hopping global optimization for the ackley multimodal objective function
from scipy.optimize import basinhopping
from numpy.random import rand
from numpy import exp
from numpy import sqrt
from numpy import cos
from numpy import e
from numpy import pi

# objective function
def objective(v):
	x, y = v
	return -20.0 * exp(-0.2 * sqrt(0.5 * (x**2 + y**2))) - exp(0.5 * (cos(2 * pi * x) + cos(2 * pi * y))) + e + 20

# define range for input
r_min, r_max = -5.0, 5.0
# define the starting point as a random sample from the domain
pt = r_min + rand(2) * (r_max - r_min)
# perform the basin hopping search
result = basinhopping(objective, pt, stepsize=0.5, niter=200)
# summarize the result
print('Status : %s' % result['message'])
print('Total Evaluations: %d' % result['nfev'])
# evaluate solution
solution = result['x']
evaluation = objective(solution)
print('Solution: f(%s) = %.5f' % (solution, evaluation))

# Ackley 多模态目标函数的盆地跳跃全局优化

从 scipy.optimize 导入 basinhopping

from numpy.random import rand

from numpy import exp

from numpy import sqrt

from numpy import cos

from numpy import e

from numpy import pi

# 目标函数

def objective(v):

x, y = v

返回 -20.0 * exp(-0.2 * sqrt(0.5 * (x**2 + y**2))) - exp(0.5 * (cos(2 * pi * x) + cos(2 * pi * y))) + e + 20

# 定义输入范围

r_min, r_max = -5.0, 5.0

# 将起始点定义为从域中随机采样

pt = r_min + rand(2) * (r_max - r_min)

# 执行盆地跳跃搜索

结果 = basinhopping(目标, pt, 步长=0.5, niter=200)

# 总结结果

print('状态 : %s' % 结果['消息'])

print('总评估次数：%d' % 结果['nfev'])

# 评估解

解 = 结果['x']

评估 = 目标(解)

print('解：f(%s) = %.5f' % (解, 评估))

运行该示例会执行优化，然后报告结果。

注意：鉴于算法或评估过程的随机性，或数值精度差异，您的结果可能会有所不同。考虑多次运行示例并比较平均结果。

在这种情况下，我们可以看到算法找到了输入接近零且目标函数评估值几乎为零的最优值。

我们可以看到，200 次算法迭代产生了 86,020 次函数评估。

Status: ['requested number of basinhopping iterations completed successfully']
Total Evaluations: 86020
Solution: f([ 5.29778873e-10 -2.29022817e-10]) = 0.00000

状态：['已成功完成请求的盆地跳跃迭代次数']

总评估次数：86020

解：f([ 5.29778873e-10 -2.29022817e-10]) = 0.00000

具有多个全局最优的多模态优化

Himmelblau 函数是具有多个全局最优值的目标函数的示例。

具体来说，它有四个最优值，每个最优值具有相同的目标函数评估值。它是一个二维目标函数，在 [3.0, 2.0]、[-2.805118, 3.131312]、[-3.779310, -3.283186]、[3.584428, -1.848126] 处具有全局最优值。

这意味着全局优化算法的每次运行都可能找到不同的全局最优值。

下面的示例实现了 Himmelblau 函数，并创建了一个三维曲面图，以直观地了解目标函数。

# himmelblau multimodal test function
from numpy import arange
from numpy import meshgrid
from matplotlib import pyplot
from mpl_toolkits.mplot3d import Axes3D

# objective function
def objective(x, y):
	return (x**2 + y - 11)**2 + (x + y**2 -7)**2

# define range for input
r_min, r_max = -5.0, 5.0
# sample input range uniformly at 0.1 increments
xaxis = arange(r_min, r_max, 0.1)
yaxis = arange(r_min, r_max, 0.1)
# create a mesh from the axis
x, y = meshgrid(xaxis, yaxis)
# compute targets
results = objective(x, y)
# create a surface plot with the jet color scheme
figure = pyplot.figure()
axis = figure.gca(projection='3d')
axis.plot_surface(x, y, results, cmap='jet')
# show the plot
pyplot.show()

# himmelblau 多模态测试函数

from numpy import arange

from numpy import meshgrid

from matplotlib import pyplot

from mpl_toolkits.mplot3d import Axes3D

# 目标函数

def 目标(x, y):

返回 (x**2 + y - 11)**2 + (x + y**2 -7)**2

# 定义输入范围

r_min, r_max = -5.0, 5.0

# 以 0.1 为增量均匀采样输入范围

xaxis = arange(r_min, r_max, 0.1)

yaxis = arange(r_min, r_max, 0.1)

# 从坐标轴创建网格

x, y = meshgrid(xaxis, yaxis)

# 计算目标值

结果 = 目标(x, y)

# 使用 jet 配色方案创建曲面图

图形 = pyplot.图形()

轴 = 图形.gca(投影='3d')

轴.plot_surface(x, y, 结果, cmap='jet')

# 显示绘图

pyplot.show()

运行该示例会创建 Himmelblau 函数的曲面图，显示四个全局最优值（深蓝色盆地）。

3D Surface Plot of the Himmelblau Multimodal Function

Himmelblau 多模态函数的三维曲面图

我们可以将盆地跳跃算法应用于 Himmelblau 目标函数。

与前一个示例一样，我们将使用从输入域 -5 到 5 之间随机抽取的一个点作为搜索的起点。

我们将使用 0.5 的步长、200 次迭代和默认的局部搜索算法。搜索结束后，我们将报告找到的最佳最优值的输入。

# basin hopping global optimization for the himmelblau multimodal objective function
from scipy.optimize import basinhopping
from numpy.random import rand

# objective function
def objective(v):
	x, y = v
	return (x**2 + y - 11)**2 + (x + y**2 -7)**2

# define range for input
r_min, r_max = -5.0, 5.0
# define the starting point as a random sample from the domain
pt = r_min + rand(2) * (r_max - r_min)
# perform the basin hopping search
result = basinhopping(objective, pt, stepsize=0.5, niter=200)
# summarize the result
print('Status : %s' % result['message'])
print('Total Evaluations: %d' % result['nfev'])
# evaluate solution
solution = result['x']
evaluation = objective(solution)
print('Solution: f(%s) = %.5f' % (solution, evaluation))

# Himmelblau 多模态目标函数的盆地跳跃全局优化

从 scipy.optimize 导入 basinhopping

from numpy.random import rand

# 目标函数

def objective(v):

x, y = v

返回 (x**2 + y - 11)**2 + (x + y**2 -7)**2

# 定义输入范围

r_min, r_max = -5.0, 5.0

# 将起始点定义为从域中随机采样

pt = r_min + rand(2) * (r_max - r_min)

# 执行盆地跳跃搜索

结果 = basinhopping(目标, pt, 步长=0.5, niter=200)

# 总结结果

print('状态 : %s' % 结果['消息'])

print('总评估次数：%d' % 结果['nfev'])

# 评估解

解 = 结果['x']

评估 = 目标(解)

print('解：f(%s) = %.5f' % (解, 评估))

运行该示例会执行优化，然后报告结果。

想开始学习集成学习吗？

立即参加我为期7天的免费电子邮件速成课程（附示例代码）。

点击注册，同时获得该课程的免费PDF电子书版本。

在这种情况下，我们可以看到算法在大约 [3.0, 2.0] 处找到了一个最优值。

我们可以看到，200 次算法迭代产生了 7,660 次函数评估。

Status : ['requested number of basinhopping iterations completed successfully']
Total Evaluations: 7660
Solution: f([3. 1.99999999]) = 0.00000

状态：['已成功完成请求的盆地跳跃迭代次数']

总评估次数：7660

解：f([3. 1.99999999]) = 0.00000

如果再次运行搜索，我们可能会找到不同的全局最优值。

例如，在下面，我们可以看到在大约 [-2.805118, 3.131312] 处找到的最优值，与之前的运行不同。

Status : ['requested number of basinhopping iterations completed successfully']
Total Evaluations: 7636
Solution: f([-2.80511809 3.13131252]) = 0.00000

状态：['已成功完成请求的盆地跳跃迭代次数']

总评估次数：7636

解：f([-2.80511809 3.13131252]) = 0.00000

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

论文

书籍

能量景观：在簇、生物分子和玻璃中的应用, 2004.

API

文章

总结

在本教程中，您学习了盆地跳跃全局优化算法。

具体来说，你学到了：

盆地跳跃优化是一种全局优化算法，它利用随机扰动跳跃盆地，并利用局部搜索算法优化每个盆地。
如何在 Python 中使用盆地跳跃优化算法 API。
使用盆地跳跃解决具有多个最优值的全局优化问题的示例。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

关于此主题的更多信息

函数优化的随机搜索和网格搜索

用于回归的 XGBoost

对Python 中的盆地跳跃优化的 23 条回复

考拉安东尼 2021 年 3 月 17 日晚上 10:03 #

尊敬的Jason博士，
在倒数第二段代码中，您有以下导入行

from mpl_toolkits.mplot3d import Axes3D

1

从 mpl_toolkits.mplot3d 导入 Axes3D

我注意到 Axes3D 没有被调用。
所以我注释掉了这行

#from mpl_toolkits.mplot3d import Axes3D

1

#from mpl_toolkits.mplot3d import Axes3D

结论：程序中没有产生错误
我推断 Axes3D 没有必要，因为 '3d' 参数已在以下代码中设置

axis = figure.gca(projection='3d')

1

轴 = 图形.gca(投影='3d')

谢谢你，
悉尼的Anthony

回复
- Jason Brownlee 2021 年 3 月 18 日上午 5:20 #
  
  谢谢。
  
  回复

考拉安东尼 2021 年 3 月 17 日晚上 10:14 #

尊敬的Jason博士，
在最后一个示例中，您提到了 basinhopping 函数用于查找全局最小值。

是否有函数可以找到全局最大值？我问这个的原因是我做了 dir(scipy.optimize) 并且找不到一个直观的名称来表示 basinhopping 的反向以找到全局最大值。

谢谢你，
悉尼的Anthony

Jason Brownlee 2021 年 3 月 18 日上午 5:20 #

是的，您可以通过在成本函数结果中添加负号来反转最大化问题，从而将其转换为最小化问题。

考拉安东尼 2021 年 3 月 18 日下午 5:06 #

尊敬的Jason博士，
我尝试了“在结果中添加负号”

result = basinhopping(-objective, pt, stepsize=0.5, niter=200)

1	结果 = basinhopping(-目标, pt, 步长=0.5, niter=200)

以下结果

Traceback (most recent call last):

  File "C:\Python38\untitled2.py", line 15, in 
    result = basinhopping(-objective, pt, stepsize=0.5, niter=200)

TypeError: bad operand type for unary -: 'function'

回溯 (最近一次调用最后):

文件 "C:\Python38\untitled2.py", 行 15, 在

结果 = basinhopping(-目标, pt, 步长=0.5, niter=200)

类型错误: 一元 - 运算符的操作数类型错误: '函数'

我只想找到全局最大值。

谢谢你，
悉尼的Anthony

Jason Brownlee 2021 年 3 月 19 日上午 6:17 #

您应该在 objective() 函数返回的结果中添加负号，例如，函数的最后一行。

考拉安东尼 2021 年 3 月 19 日上午 7:22 #

尊敬的Jason博士，
谢谢你。

改变目标函数极性的结果

Status : ['requested number of basinhopping iterations completed successfully'] Total Evaluations: 5406 Solution: f([-0.08164234 -3.06213733]) = -192.28907

1
2
3

状态 : ['已成功完成请求的盆地跳跃迭代次数']
总计评估: 5406
解: f([-0.08164234 -3.06213733]) = -192.28907

我学到了一件事
目标函数返回函数的负值，以便“找到”全局最大值

def objective(v): x, y = v # changed the polarity of the function return -(x**2 + y - 11)**2 + (x + y**2 -7)**2

1
2
3
4

def objective(v):
x, y = v
# 改变了函数的极性
返回 -(x**2 + y - 11)**2 + (x + y**2 -7)**2

但是有一点不清楚的是，当代码在调用 basinhopping 函数时没有指定 v 是什么时，v 是如何传递给目标函数的？

#Where is the v? result = basinhopping(objective, pt, stepsize=0.5, niter=200)

1
2

# v在哪里？
结果 = basinhopping(目标, pt, 步长=0.5, niter=200)

谢谢你，
悉尼的Anthony
Jason Brownlee 2021 年 3 月 19 日上午 7:50 #

该函数正在搜索 v 的域——这就是优化问题的定义。

考拉安东尼 2021 年 3 月 19 日晚上 9:38 #

尊敬的Jason博士，
谢谢你。
那么，当您没有声明或分配 v 时，v 是如何从目标函数传递到以下代码中的？

#Question where is the v when passing into objective, that is you did not say
# objective(v) as below.
result = basinhopping(objective, pt, stepsize=0.5, niter=200)

# 问题：v 在传递到 objective 时在哪里，也就是说你没有写

# 如下所示的 objective(v)。

结果 = basinhopping(目标, pt, 步长=0.5, niter=200)

谢谢你，
悉尼的Anthony

Jason Brownlee 2021 年 3 月 20 日上午 5:21 #

优化算法生成“v”的候选值，由我们的目标函数进行评估。
考拉安东尼 2021 年 3 月 20 日上午 5:57 #

尊敬的Jason博士，
感谢您的回答和耐心。
我对 objective 的参数 v 进行了一个“实验”，并将其替换为其他东西。

def objective(boobooboo): x, y = boobooboo return (x**2 + y - 11)**2 + (x + y**2 -7)**2

1
2
3

def 目标(boobooboo):
x, y = boobooboo
返回 (x**2 + y - 11)**2 + (x + y**2 -7)**2

结论
* 看起来该参数是由 basinhopping 函数在内部使用的，无需您显式传递。
* objective 的参数，无论您称之为 v 还是 boobooboo，类型都是 ndarray
– 变量 result 的类型是 scipy.optimize.optimize.OptimizeResult
– result['x'] 返回优化后的 x 和 y 值的 ndarray。
– result['x'] 被传递给 objective(v) 或 objective(boobooboo) 以返回 z 的结果。

再次感谢您的时间和耐心
悉尼的Anthony
Jason Brownlee 2021 年 3 月 21 日上午 6:00 #

是的。

考拉安东尼 2021 年 3 月 23 日上午 12:20 #

尊敬的Jason博士，
我编写了一个程序，结合了盆地跳跃和显示函数的三维 (x,y,z)。
它有效。
它需要两次使用目标函数。(i) 首先，basinhopping 函数不需要 x 和 y，(ii) 打印图形需要单独设置 x、y 和 z

# basin hopping global optimization for the himmelblau multimodal objective function
from scipy.optimize import basinhopping
from numpy.random import rand
from numpy import e,exp,pi, asarray, cos, sin, tan, sqrt,shape, array, meshgrid, arange 
from matplotlib import pyplot 

# objective function
#def objective(boobooboo):
#	x, y = boobooboo
#	return ((x**2 + y - 11)**2 + (x + y**2 -7)**2)

def objective(v):
    x,y = v
    return -20.0 * exp(-0.2 * sqrt(0.5 * (x**2 + y**2))) - exp(0.5 * (cos(2 * pi * x) + cos(2 * pi * y))) + e + 20


#def objective(booboo):
#    # X is a 2*N matrix, each column contains
#    # x and y coordinates.
#    x, y = booboo
#    return (sin(3*pi*x)**2 +
#            (x-1)**2 * (1 + sin(3*pi*y)**2) +
#            (y-1)**2 * (1 + sin(2*pi*y)**2))

# define range for input
r_min, r_max = -5.0, 5.0
# define the starting point as a random sample from the domain
pt = r_min + rand(2) * (r_max - r_min)
# perform the basin hopping search
result = basinhopping(objective, pt, stepsize=0.5, niter=200)
#print("shape of objective = %d"%shape(objective))
#$print(shape(objective))
# summarize the result
print('Status : %s' % result['message'])
print('Total Evaluations: %d' % result['nfev'])
# evaluate solution
solution = result['x']
evaluation = objective(solution)
print('Solution: f(%s) = %.5f' % (solution, evaluation))
#pyplot.plot(pt)result
r_min, r_max = -5, 5
xaxis = arange(r_min, r_max, 0.1)
yaxis = arange(r_min,r_max,0.1)
x, y = meshgrid(xaxis, yaxis)
v = array([x,y])
results = objective(v)
figure = pyplot.figure()
axis = figure.gca(projection='3d')
axis.plot_surface(x,y,results,cmap='jet')
pyplot.show()

# Himmelblau 多模态目标函数的盆地跳跃全局优化

从 scipy.optimize 导入 basinhopping

from numpy.random import rand

从 numpy 导入 e,exp,pi, asarray, cos, sin, tan, sqrt,shape, array, meshgrid, arange

从 matplotlib 导入 pyplot

# 目标函数

#def 目标(boobooboo)

# x, y = boobooboo

# return ((x**2 + y - 11)**2 + (x + y**2 -7)**2)

def objective(v):

x,y = v

返回 -20.0 * exp(-0.2 * sqrt(0.5 * (x**2 + y**2))) - exp(0.5 * (cos(2 * pi * x) + cos(2 * pi * y))) + e + 20

#def objective(booboo)

# # X 是一个 2*N 矩阵，每列包含

# # x 和 y 坐标。

# x, y = booboo

# 返回 (sin(3*pi*x)**2 +

# (x-1)**2 * (1 + sin(3*pi*y)**2) +

# (y-1)**2 * (1 + sin(2*pi*y)**2))

# 定义输入范围

r_min, r_max = -5.0, 5.0

# 将起始点定义为从域中随机采样

pt = r_min + rand(2) * (r_max - r_min)

# 执行盆地跳跃搜索

结果 = basinhopping(目标, pt, 步长=0.5, niter=200)

#print("目标形状 = %d"%shape(目标))

#$print(shape(目标))

# 总结结果

print('状态 : %s' % 结果['消息'])

print('总评估次数：%d' % 结果['nfev'])

# 评估解

解 = 结果['x']

评估 = 目标(解)

print('解：f(%s) = %.5f' % (解, 评估))

#pyplot.plot(pt)结果

r_min, r_max = -5, 5

xaxis = arange(r_min, r_max, 0.1)

yaxis = arange(r_min,r_max,0.1)

x, y = meshgrid(xaxis, yaxis)

v = 数组([x,y])

结果 = 目标(v)

图形 = pyplot.图形()

轴 = 图形.gca(投影='3d')

轴.plot_surface(x,y,结果,cmap='jet')

pyplot.show()

结论
* 比较计算出的 x、y 和 z 与图形，我们发现最小值出现在
解：f([4.41865299e-10 1.35549800e-10]) = 0.00000
* 当使用图表时，最小值出现在 (0,0) = 0。

回顾
* 为了在盆地跳跃中评估目标函数，该函数生成内部 x 和 y。
* 打印 3d 目标函数需要您生成 x 和 y，通过以下方式将 x、y 输入到目标函数中
– 创建一个网格 v = np.array([x,y])
– 将网格插入目标函数 objective(v)
– 绘制数据。

谢谢你，
悉尼的安东尼。

Jason Brownlee 2021 年 3 月 23 日上午 4:57 #

感谢分享！

回复

考拉安东尼 2021 年 3 月 23 日上午 6:11 #

尊敬的Jason博士，
在我上面的评论中，我希望使用上面找到全局最小值的可行代码来找到全局最大值。

为了找到全局最大值，我将原始目标函数的返回值反转了。

def objective(v): x,y = v return -(-20.0 * exp(-0.2 * sqrt(0.5 * (x**2 + y**2))) - exp(0.5 * (cos(2 * pi * x) + cos(2 * pi * y))) + e + 20)

1
2
3

def objective(v):
x,y = v
返回 -(-20.0 * exp(-0.2 * sqrt(0.5 * (x**2 + y**2))) - exp(0.5 * (cos(2 * pi * x) + cos(2 * pi * y))) + e + 20)

正如预期的那样，x、y、z 的 3D 图被反转了。

但是
* 多次重复程序，大部分时间产生相同的结果
大部分时间，z = f(x,y) = -22.35040，偶尔，z = f(x,y) 是 -16。
* 即便如此，通过对实际图形的目视检查，预期值为 z = f(x,y) = -6 ..
代码
* 前一个评论中展示的代码和这个评论中展示的代码之间没有变化，除了目标函数中符号的变化。

总结
* 改变目标函数结果的符号应该有助于我们确定全局最大值。
* 尽管代码反复运行，z = f(x,y) = -22.35040，但目视检查 3D 图时，看起来并不像预期值 z = f(x,y) = f(0,0) = -6。

谢谢你，
悉尼的Anthony

回复
- Jason Brownlee 2021 年 3 月 24 日上午 5:44 #
  
  也许引入了错误？
  也许函数被充分改变以定义新的最优值？
  …
  
  回复
考拉安东尼 2021 年 3 月 25 日上午 3:43 #

尊敬的Jason博士，
感谢您的回复。

从您的回复中，我不明白为什么在程序只是“复制”并且只改变了目标函数 objective = z = f(x,y) 的返回符号时，会引入错误。

然而，我的直觉是“...函数已被充分改变以定义新的最优值...”

如果存在计算全局最小值的函数，则应该有一个等效的函数来找到全局最大值。

在微积分中，我们不仅计算函数的最小值，而且可能“有必要”也计算全局最大值。

问题：肯定有一种方法可以计算函数的最大值吧？也许它不是来自 scipy.optimize 模块。

再次感谢您的时间和耐心，
悉尼的Anthony

回复
- Jason Brownlee 2021 年 3 月 25 日上午 4:48 #
  
  我只是在猜测故障原因，也许我错过了一些好的猜测。
  
  在优化领域中，通常使用的方法是反转（改变符号）函数而不是改变算法。
  
  回复
考拉安东尼 2021 年 3 月 25 日上午 6:14 #

尊敬的Jason博士，
我以后可能会再来处理这个问题。
您说“…域上使用的典型方法是改变函数的符号…”

这以前已经演示过，通过检查图表，反向的目标函数并没有返回图形中描绘的最大值。

我休息一下，稍后再继续，

感谢您的时间和耐心，

悉尼的Anthony

回复
cc 2022 年 3 月 30 日下午 4:39 #

嘿，杰森博士，谢谢分享。

我想知道是否可以使用机器学习预测模型（即随机森林回归模型）作为目标函数？目标是优化机器学习模型的可控输入特征。

谢谢！

回复
- 詹姆斯·卡迈克尔 2022 年 3 月 31 日上午 9:23 #
  
  嗨 CC…这是可能的，也是进行超参数优化时的常见做法。
  
  回复
斯科特 2022 年 12 月 21 日上午 1:57 #

感谢您的快速教程。我尚未弄清楚的一件事是如何控制成功的容差。例如，如果我希望当目标函数达到 0.1 时算作成功迭代，是否有为此设计的输入变量（即 tol = 0.1）。另一种方法是我想通过“args”对目标函数输入一些权重……有什么想法？

回复
- 詹姆斯·卡迈克尔 2022 年 12 月 21 日上午 9:15 #
  
  嗨，斯科特……不客气！以下资源可能会增加清晰度
  
  https://datascience.stackexchange.com/questions/49255/how-to-make-scipy-optimize-basinhopping-find-the-global-optimal-point
  
  回复

导航

Python 中的 Basin Hopping 优化

教程概述

盆地跳跃优化

想要开始学习优化算法吗？

盆地跳跃 API

盆地跳跃示例

具有局部最优的多模态优化

具有多个全局最优的多模态优化

想开始学习集成学习吗？

进一步阅读

论文

书籍

API

文章

总结

掌握现代优化算法！

加深您对优化的理解

将现代优化算法应用于
您的机器学习项目

关于此主题的更多信息

对Python 中的盆地跳跃优化的 23 条回复

发表回复单击此处取消回复。

导航

教程概述

盆地跳跃优化

想要开始学习优化算法吗？

盆地跳跃 API

盆地跳跃示例

具有局部最优的多模态优化

具有多个全局最优的多模态优化

想开始学习集成学习吗？

进一步阅读

论文

书籍

API

文章

总结

掌握现代优化算法！

加深您对优化的理解

将现代优化算法应用于您的机器学习项目

关于此主题的更多信息

对Python 中的盆地跳跃优化的 23 条回复

发表回复 单击此处取消回复。

将现代优化算法应用于
您的机器学习项目

发表回复单击此处取消回复。