存档 | 优化

如何优化单变量函数？单变量函数优化涉及找到一个函数的输入，该输入能产生目标函数的最佳输出。这在机器学习中是一个常见的过程，尤其是在拟合具有单个参数的模型或调整具有单个超参数的模型时。一个高效的算法 […]

通常，通过从训练数据集中删除输入特征（列）可以开发出更简单、性能更好的机器学习模型。这称为特征选择，有许多不同类型的算法可供使用。可以将特征选择问题构建为优化问题。在这种情况下[…]

优化问题是指找到一组输入以使目标函数评估值达到最大值或最小值。这是许多机器学习算法的基础，从拟合逻辑回归模型到训练人工神经网络，这是一个具有挑战性的问题。市面上存在数百种流行的优化算法，可能还有数十种[…]

深度学习神经网络模型使用随机梯度下降优化算法在训练数据上进行拟合。模型权重的更新使用误差的反向传播算法进行。优化和权重更新算法的组合是经过精心挑选的，并且是拟合神经网络最有效的方法。 […]

遗传编程（GP）是一种用于演化程序以解决特定明确定义问题的算法。它是一种自动编程，适用于任务明确且可以以低成本轻松检查解决方案的挑战性问题，尽管可能解决方案的搜索空间非常大，直觉却很少[…]

随机爬山法是一种优化算法。它在搜索过程中利用了随机性。这使得该算法适用于其他局部搜索算法效果不佳的非线性目标函数。它也是一种局部搜索算法，意味着它修改单个解决方案并搜索相对局部的[…]

曲线拟合是一种优化类型，它找到一个定义函数的最佳参数集，该函数最适合给定的一组观测值。与监督学习不同，曲线拟合要求您定义将示例输入映射到输出的函数。映射函数，也称为基函数，可以具有任何[…]

应用机器学习之所以具有挑战性，是因为为特定问题设计完美的学习系统是难以实现的。您的应用程序没有最佳的训练数据或最佳算法，只有您能发现的最佳。机器学习的应用最好被视为一个搜索问题，寻找最佳映射 […]