注意（Attention）是一个在多个学科领域被科学研究的概念，包括心理学、神经科学，以及近期的机器学习。尽管所有学科可能都有自己对注意力的定义，但它们都能达成一致的核心品质是：注意力是使生物和人工神经网络更具灵活性的机制。在 […]
作者归档 | Stefania Cristina
在Python中设置断点和异常钩子
在 Python 中有多种调试代码的方法，其中一种方法是在代码中希望调用 Python 调试器的地方插入断点。用于在不同调用点进入调试会话的语句取决于您正在使用的 Python 解释器的版本， […]
运行并向Python脚本传递信息
运行您的 Python 脚本是开发过程中的一个重要步骤，因为通过这种方式，您才能了解您的代码是否按照预期工作。另外，我们经常需要向 Python 脚本传递信息才能使其正常运行。在 […]
Python 类及其在 Keras 中的使用
类是 Python 语言的基本构建块之一，可应用于机器学习应用的开发。正如我们将看到的，用于开发类的 Python 语法非常简单，并且可以用于在 Keras 中实现回调。在本教程中，您将了解 Python 类及其 […]
微积分在行动：神经网络
人工神经网络是一种计算模型，用于近似输入和输出之间的映射。它受到人脑结构的启发，即它同样由相互连接的神经元网络组成，这些神经元在接收到来自相邻神经元的刺激时会传播信息。训练神经网络涉及一个 […]
微积分链式法则 – 更多函数
链式法则是一个重要的导数法则，它使我们能够处理复合函数。它对于理解反向传播算法的工作原理至关重要，该算法广泛应用链式法则来计算损失函数相对于神经网络每个权重的误差梯度。我们将 […]
单变量和多变量函数的链式法则
链式法则使我们能够找到复合函数的导数。它被反向传播算法广泛计算，以训练前馈神经网络。通过以高效的方式应用链式法则并遵循特定的运算顺序，反向传播算法计算损失函数相对于 […] 的误差梯度。
拉普拉斯算子的温和介绍
拉普拉斯算子（Laplace operator）最早由皮埃尔-西蒙·拉普拉斯（Pierre-Simon de Laplace）应用于天体力学，即外太空物体的运动研究，并因此得名。自那时以来，拉普拉斯算子已被用于描述许多不同的现象，从电势到热量和流体的扩散方程 […]
雅可比矩阵简明介绍
在文献中，“雅可比行列式”（Jacobian）一词通常可以互换地用于指代雅可比矩阵或其行列式。矩阵和行列式都有有用且重要的应用：在机器学习中，雅可比矩阵汇集了反向传播所需的偏导数；行列式在改变 […] 的过程中很有用。
高阶导数
高阶导数可以捕获一阶导数本身无法捕获的函数信息。一阶导数可以捕获重要信息，例如变化率，但它们本身无法区分局部最小值或最大值，在这些地方变化率都为零。一些优化算法解决了这个限制 […]