归档 | Hugging Face Transformers

在上一篇文章中，您学习了如何构建一个简单的检索增强生成（RAG）系统。RAG 是一种用外部知识增强大型语言模型的强大方法，并且有许多变体可以使其工作得更好。在下文中，您将看到一些用于提高性能的高级功能和技术 […]

检索增强生成（RAG）已成为增强大型语言模型能力的强大范式。通过将检索系统的优势与生成模型相结合，RAG 系统可以产生更准确、更真实、更具上下文相关性的响应。当处理特定领域的知识或需要最新信息时，这种方法尤其有价值。在 […]

Transformer 模型是当今用于自然语言处理任务的标准模型。几乎所有的自然语言处理任务都涉及生成文本，但这并非模型的直接输出。您可能期望模型能帮助您生成连贯且与上下文相关的文本。虽然这部分与模型的质量有关 […]

上下文向量是由 transformer 模型生成的强大表示，它能捕捉单词在特定上下文中的含义。在我们之前的教程中，我们探讨了如何生成这些向量以及一些基本应用。现在，我们将专注于构建利用上下文向量解决实际问题的实用应用程序。在本教程中，我们将实现几个 […]

上下文向量是用于高级自然语言处理任务的强大工具。它们允许您捕捉单词的上下文含义，例如当一个词在句子中有多种含义时，识别其正确的词义。在本文中，我们将探讨上下文向量的一些应用示例。具体来说：您将学习如何 […]

上下文向量是一个词的数值表示，它捕捉了该词在特定上下文中的含义。与传统的词嵌入为每个词分配一个固定的向量不同，同一个词的上下文向量会根据句子中周围的词而变化。Transformers 是用于 […] 的首选工具。

文本嵌入通过提供能捕捉语义的密集向量表示，彻底改变了自然语言处理。在之前的教程中，您学习了如何使用 transformer 模型生成这些嵌入。在本文中，您将学习文本嵌入的高级应用，这些应用超越了语义搜索和文档聚类等基本任务。具体来说，您将 […]

在 transformers 库中，auto classes 是一项关键设计，它允许您使用预训练模型而无需担心底层的模型架构。这使您的代码更简洁、更易于维护。例如，您只需更改模型名称就可以轻松地在不同的模型架构之间切换；甚至代码 […]

文本嵌入是文本的数值表示，它以机器可以理解和处理的方式捕捉语义。这些嵌入通过使计算机能够比传统的词袋或独热编码方法更有意义地处理文本，从而彻底改变了自然语言处理。在下文中，您将探索如何使用 […] 生成高质量的文本嵌入。

transformers 库为许多流行的 transformer 模型提供了一个清晰且文档齐全的接口。它不仅使源代码更易于阅读和理解，还提供了一种与模型交互的标准化方式。您在上一篇文章中已经看到如何使用像 DistilBERT 这样的模型进行自然语言 […]