赞助帖子 参加 2022 年数据科学研讨会，11 月 8 日，辛辛那提大学商业分析中心将于 11 月 8 日举办其年度数据科学研讨会 2022。本次全天线下活动将有三位特邀演讲嘉宾和两个技术讲座，每个讲座有四个并发演示。 [...]
BERT 简介
在我们学习了 Transformer 是什么以及如何训练 Transformer 模型后，我们发现它是让计算机理解人类语言的绝佳工具。然而，Transformer 最初被设计为一种翻译语言的模型。如果我们将其用于其他任务，我们就会 [...]
面向机器学习的数据工程：优化成本效率
赞助帖子 过去几年，流处理系统领域发生了巨大变化。特别是当公司需要管理比以往任何时候都更多的数据时。事实上，每天大约会生成 250 万亿字节的数据。手动处理如此海量的数据 [...]
与Kirk Borne博士的互动式机器学习直播课程
赞助帖子 立即申请参加 Kirk Borne 博士的现场互动课程，将于 11 月 28 日开始。与前 NASA 科学家、Booz Allen Hamilton 前首席数据科学家 Kirk Borne 博士一起，通过实践实验室和真实应用探索实时机器学习。他曾是天体物理学和计算科学的教授 [...]
Transformer 模型推理
我们已经了解了如何在一组英语和德语句子对的数据集上训练 Transformer 模型，以及如何绘制训练和验证损失曲线来诊断模型的学习性能并决定在哪个 epoch 上对训练好的模型进行推理。现在我们准备对 [...]
为 Transformer 模型绘制训练和验证损失曲线
我们之前已经了解了如何训练 Transformer 模型进行神经机器翻译。在继续对训练好的模型进行推理之前，让我们先探讨一下如何稍微修改训练代码，以便能够绘制在学习过程中生成的训练和验证损失曲线。训练和 [...]
参加 2022 数据科学研讨会
赞助帖子 参加 2022 年数据科学研讨会，11 月 8 日，辛辛那提大学商业分析中心将于 11 月 8 日举办其年度数据科学研讨会 2022。本次全天线下活动将有三位特邀演讲嘉宾和两个技术讲座，每个讲座有四个并发演示。 [...]
训练 Transformer 模型
我们已经完成了 Transformer 模型的构建，现在可以开始训练它进行神经机器翻译。为此，我们将使用一个包含简短英语和德语句子对的训练数据集。我们还将回顾掩码在计算训练过程中的准确率和损失指标方面的作用 [...]
连接 Transformer 编码器和解码器以及掩码
我们已经完成了 Transformer 编码器和解码器的独立实现和测试，现在可以将两者组合成一个完整的模型。我们还将了解如何创建填充掩码和前瞻掩码，通过它们我们可以抑制在 [...] 中不被考虑的输入值。
在 TensorFlow 和 Keras 中从零开始实现 Transformer 解码器
Transformer 编码器和解码器之间有许多相似之处，例如它们都实现了多头注意力、层归一化以及作为其最后一个子层的全连接前馈网络。在实现了 Transformer 编码器之后，我们将继续应用我们的知识来实现 Transformer 解码器，这是实现 [...] 的进一步步骤。