通过 GPT4All 初探 LLM

作者：Adrian Tam 发布于 2023年10月11日类别：ChatGPT 评论： 32

大型语言模型（LLM）最近越来越受欢迎。ChatGPT很时尚。尝试 ChatGPT 来了解 LLM 的运作方式很容易，但有时您可能想要一个可以在您的计算机上运行的离线替代品。在这篇文章中，您将了解 GPT4All，这是一种您可以安装在计算机上的 LLM。特别是，您将学习：

什么是 GPT4All
如何安装 GPT4All 的桌面客户端
如何在 Python 中运行 GPT4All

开始并应用 ChatGPT，我的书《用 ChatGPT 最大化生产力》提供了真实用例和提示示例，旨在让您快速上手使用 ChatGPT。

让我们开始吧。

通过 GPT4All 初探 LLM
图片由作者使用 Stable Diffusion 生成。保留部分权利。

更新

2023-10-10：已为 gpt4all 模块版本 1.0.12 刷新 Python 代码

概述

这篇博文分为三部分；它们是：

什么是 GPT4All？
如何获取 GPT4All
如何在 Python 中使用 GPT4All

什么是 GPT4All？

“GPT”一词源自 Radford 等人在 2018 年发表的论文“Improving Language Understanding by Generative Pre-Training”（通过生成式预训练改进语言理解）。该论文描述了 Transformer 模型如何被证明能够理解人类语言。

从那时起，许多人尝试使用 Transformer 架构开发语言模型，并且发现足够大的模型可以产生出色的结果。然而，许多开发的模型都是专有的。它们要么作为付费订阅服务提供，要么在具有某些限制性条款的许可证下提供。有些模型由于尺寸过大而无法在普通硬件上运行。

GPT4All 项目旨在让公众在通用硬件上就能使用 LLM。它允许您训练和部署自己的模型。还提供预训练模型，尺寸小巧，可以在 CPU 上合理运行。

如何获取 GPT4All

我们只关注使用预训练模型。

撰写本文时，GPT4All 可从 https://gpt4all.io/index.html 获取，您可以将其作为桌面应用程序运行，或通过 Python 库使用。您可以下载适合您操作系统的安装程序来运行桌面客户端。该客户端只有几百兆。您应该会看到如下安装屏幕：

安装完客户端后，首次启动时会提示您安装一个模型，该模型可能有多 GB 大。首先，您可以选择“gpt4all-j-v1.3-groovy”（GPT4All-J 模型）。它是一个相对较小但很受欢迎的模型。

客户端和模型就绪后，您可以在输入框中键入消息。模型可能期望特定形式的输入，例如，特定的语言或风格。此模型期望对话风格（类似 ChatGPT），并且通常能很好地处理英语。例如，它对输入“给我列出 10 种颜色及其 RGB 代码”的响应如下：

如何在 Python 中使用 GPT4All

GPT4All 的关键组件是模型。桌面客户端只是一个接口。除了客户端，您还可以通过 Python 库调用模型。

该库很自然地命名为“gpt4all”，您可以使用 pip 命令安装它：

pip install gpt4all

1	pip install gpt4all

注意：这是一个快速发展的库，函数可能会发生变化。以下代码已在版本 1.0.12 上进行了测试，但在未来版本中可能无法正常工作。

之后，您只需几行代码即可在 Python 中使用它：

import pprint

import gpt4all

model = gpt4all.GPT4All("orca-mini-7b.ggmlv3.q4_0.bin")
with model.chat_session():
    response = model.generate("Give me a list of 10 colors and their RGB code")
    print(response)
    pprint.pprint(model.current_chat_session)

import pprint

import gpt4all

model = gpt4all.GPT4All("orca-mini-7b.ggmlv3.q4_0.bin")

with model.chat_session():

response = model.generate("Give me a list of 10 colors and their RGB code")

print(response)

pprint.pprint(model.current_chat_session)

运行上述代码将在您尚未下载模型时下载它。之后，模型将被加载，输入将被提供，响应将作为字符串返回。打印的输出可能是：

 Sure, here's a list of 10 colors along with their RGB codes:

1. Red (255, 0, 0)
2. Blue (0, 0, 255)
3. Green (0, 255, 0)
4. Yellow (255, 255, 0)
5. Orange (255, 165, 0)
6. Purple (192, 118, 192)
7. Pink (255, 192, 203)
8. Maroon (153, 42, 102)
9. Teal (0, 128, 128)
10. Lavender (238, 102, 147)

当然，这是 10 种颜色及其 RGB 代码列表：

1. 红色 (255, 0, 0)

2. 蓝色 (0, 0, 255)

3. 绿色 (0, 255, 0)

4. 黄色 (255, 255, 0)

5. 橙色 (255, 165, 0)

6. 紫色 (192, 118, 192)

7. 粉色 (255, 192, 203)

8. 栗色 (153, 42, 102)

9. 青色 (0, 128, 128)

10. 淡紫色 (238, 102, 147)

会话的聊天记录作为 Python 列表存储在模型的 current_chat_session 属性中。示例如下：

[{'content': '### System:\n'
             'You are an AI assistant that follows instruction extremely well. '
             'Help as much as you can.',
  'role': 'system'},
 {'content': 'Give me a list of 10 colors and their RGB code', 'role': 'user'},
 {'content': " Sure, here's a list of 10 colors along with their RGB codes:\n"
             '\n'
             '1. Red (255, 0, 0)\n'
             '2. Blue (0, 0, 255)\n'
             '3. Green (0, 255, 0)\n'
             '4. Yellow (255, 255, 0)\n'
             '5. Orange (255, 165, 0)\n'
             '6. Purple (192, 118, 192)\n'
             '7. Pink (255, 192, 203)\n'
             '8. Maroon (153, 42, 102)\n'
             '9. Teal (0, 128, 128)\n'
             '10. Lavender (238, 102, 147)',
  'role': 'assistant'}]

[{'content': '### System:\n'

'You are an AI assistant that follows instruction extremely well. '

'Help as much as you can.',

'role': 'system'},

{'content': 'Give me a list of 10 colors and their RGB code', 'role': 'user'},

{'content': " Sure, here's a list of 10 colors along with their RGB codes:\n"

'\n'

'1. Red (255, 0, 0)\n'

'2. Blue (0, 0, 255)\n'

'3. Green (0, 255, 0)\n'

'4. Yellow (255, 255, 0)\n'

'5. Orange (255, 165, 0)\n'

'6. Purple (192, 118, 192)\n'

'7. Pink (255, 192, 203)\n'

'8. Maroon (153, 42, 102)\n'

'9. Teal (0, 128, 128)\n'

'10. Lavender (238, 102, 147)',

'role': 'assistant'}]

历史是对话的序列，格式为 Python 字典，键为 role 和 content。role 可以是 "system"、"assistant" 或 "user"，而 content 是文本字符串。如果您像示例一样与模型聊天，您的角色是 "user"，而计算机的响应是 "assistant"。您可以继续使用 generate() 调用来继续您的对话。示例如下：

import pprint

import gpt4all

model = gpt4all.GPT4All("orca-mini-7b.ggmlv3.q4_0.bin")
with model.chat_session():
    questions = [
        "Can you explain what is a large language model?",
        "Can you give some examples applications?",
        "Are there any limitations?",
        "Summarize the above in two sentences.",
    ]
    for question in questions:
        answer = model.generate(question)
        print("Q:", question)
        print("A:", answer)

    pprint.pprint(model.current_chat_session)

import pprint

import gpt4all

model = gpt4all.GPT4All("orca-mini-7b.ggmlv3.q4_0.bin")

with model.chat_session():

questions = [

"Can you explain what is a large language model?",

"Can you give some examples applications?",

"Are there any limitations?",

"Summarize the above in two sentences.",

]

for question in questions:

answer = model.generate(question)

print("Q:", question)

print("A:", answer)

pprint.pprint(model.current_chat_session)

请注意，您在 for 循环中多次调用了模型。每次它响应时，模型都会将输出接收下来并追加到聊天消息列表中，因此您累积了上下文。然后，您添加一个新对话并再次调用模型。这就是模型记住聊天历史的方式。以下是上述代码如何响应您的问题的示例：

Q: Can you explain what is a large language model?
A:  A large language model (LLM) is a type of artificial intelligence model that uses deep learning techniques to analyze and generate human-like language. These models are trained on massive amounts of text data, which allows them to learn complex patterns and relationships in the language. LLMs can be used for a variety of natural language processing tasks such as language translation, sentiment analysis, speech recognition, and more. They are typically implemented using deep learning frameworks like TensorFlow or PyTorch and require large amounts of computational resources to train and run effectively.
Q: Can you give some examples applications?
A:  Yes, there are many applications for LLMs, including:

1. Chatbots: LLMs can be used to power chatbots that can understand natural language and respond appropriately to user queries.

2. Virtual assistants: LLMs can help power virtual assistants like Siri or Alexa, allowing them to understand and respond to user requests in a more human-like way.

3. Language translation: LLMs can be used to translate text from one language to another with high accuracy.

4. Sentiment analysis: LLMs can analyze social media posts or customer feedback to determine the sentiment behind the content, which can help businesses understand their customers better.

5. Speech recognition: LLMs can be used to power speech recognition systems that allow users to speak commands and receive responses in natural language.
Q: Are there any limitations?
A:  Yes, there are some limitations to LLMs, including:

1. Data requirements: LLMs require large amounts of data to train effectively. This means that the model may not perform well on tasks with limited training data.

2. Overfitting: LLMs can sometimes overfit the training data, meaning they memorize the data rather than learning from it. This can lead to poor generalization and accuracy issues when tested on new data.

3. Hardware requirements: LLMs require powerful hardware to run effectively, which may not be available or affordable for all users.

4. Interpretability: LLMs can be difficult to interpret and understand how they are making decisions, which may limit their usefulness in some applications.
Q: Summarize the above in two sentences.
A:  There are limitations to LLMs such as data requirements, overfitting, hardware requirements, and interpretability.

问：您能解释一下什么是大型语言模型吗？

答：大型语言模型（LLM）是一种人工智能模型，它利用深度学习技术来分析和生成类似人类的语言。这些模型在大规模文本数据上进行训练，使它们能够学习语言中复杂的模式和关系。LLM 可用于各种自然语言处理任务，例如语言翻译、情感分析、语音识别等。它们通常使用 TensorFlow 或 PyTorch 等深度学习框架来实现，并且需要大量的计算资源才能有效训练和运行。

问：您能举例说明一些应用吗？

答：是的，LLM 有许多应用，包括：

1. 聊天机器人：LLM 可用于驱动能够理解自然语言并恰当地响应用户查询的聊天机器人。

2. 虚拟助手：LLM 可帮助驱动 Siri 或 Alexa 等虚拟助手，使它们能够以更像人类的方式理解和响应用户请求。

3. 语言翻译：LLM 可用于将文本从一种语言翻译成另一种语言，准确度很高。

4. 情感分析：LLM 可以分析社交媒体帖子或客户反馈，以确定内容背后的情感，这有助于企业更好地了解客户。

5. 语音识别：LLM 可用于驱动语音识别系统，这些系统允许用户说出命令并以自然语言获得响应。

问：有哪些限制？

答：是的，LLM 有一些限制，包括：

1. 数据要求：LLM 需要大量数据才能有效训练。这意味着模型在训练数据有限的任务上可能表现不佳。

2. 过拟合：LLM 有时会过拟合训练数据，这意味着它们会记住数据而不是从中学习。这可能导致泛化能力差以及在测试新数据时出现准确性问题。

3. 硬件要求：LLM 需要强大的硬件才能有效运行，这可能并非所有用户都能获得或负担得起。

4. 可解释性：LLM 难以解释和理解它们是如何做出决策的，这可能会限制它们在某些应用中的用途。

问：用两句话总结一下。

答： LLM 存在一些限制，例如数据要求、过拟合、硬件要求和可解释性。

因此，在上述代码结束时累积的聊天记录将如下所示：

[{'content': '### System:\n'
             'You are an AI assistant that follows instruction extremely well. '
             'Help as much as you can.',
  'role': 'system'},
 {'content': 'Can you explain what is a large language model?', 'role': 'user'},
 {'content': ' A large language model (LLM) is a type of artificial '
             'intelligence model that uses deep learning techniques to analyze '
             'and generate human-like language. These models are trained on '
             'massive amounts of text data, which allows them to learn complex '
             'patterns and relationships in the language. LLMs can be used for '
             'a variety of natural language processing tasks such as language '
             'translation, sentiment analysis, speech recognition, and more. '
             'They are typically implemented using deep learning frameworks '
             'like TensorFlow or PyTorch and require large amounts of '
             'computational resources to train and run effectively.',
  'role': 'assistant'},
 {'content': 'Can you give some examples applications?', 'role': 'user'},
 {'content': ' Yes, there are many applications for LLMs, including:\n'
             '\n'
             '1. Chatbots: LLMs can be used to power chatbots that can '
             'understand natural language and respond appropriately to user '
             'queries.\n'
             '\n'
             '2. Virtual assistants: LLMs can help power virtual assistants '
             'like Siri or Alexa, allowing them to understand and respond to '
             'user requests in a more human-like way.\n'
             '\n'
             '3. Language translation: LLMs can be used to translate text from '
             'one language to another with high accuracy.\n'
             '\n'
             '4. Sentiment analysis: LLMs can analyze social media posts or '
             'customer feedback to determine the sentiment behind the content, '
             'which can help businesses understand their customers better.\n'
             '\n'
             '5. Speech recognition: LLMs can be used to power speech '
             'recognition systems that allow users to speak commands and '
             'receive responses in natural language.',
  'role': 'assistant'},
 {'content': 'Are there any limitations?', 'role': 'user'},
 {'content': ' Yes, there are some limitations to LLMs, including:\n'
             '\n'
             '1. Data requirements: LLMs require large amounts of data to '
             'train effectively. This means that the model may not perform '
             'well on tasks with limited training data.\n'
             '\n'
             '2. Overfitting: LLMs can sometimes overfit the training data, '
             'meaning they memorize the data rather than learning from it. '
             'This can lead to poor generalization and accuracy issues when '
             'tested on new data.\n'
             '\n'
             '3. Hardware requirements: LLMs require powerful hardware to run '
             'effectively, which may not be available or affordable for all '
             'users.\n'
             '\n'
             '4. Interpretability: LLMs can be difficult to interpret and '
             'understand how they are making decisions, which may limit their '
             'usefulness in some applications.',
  'role': 'assistant'},
 {'content': 'Summarize the above in two sentences.', 'role': 'user'},
 {'content': ' There are limitations to LLMs such as data requirements, '
             'overfitting, hardware requirements, and interpretability.',
  'role': 'assistant'}]

[{'content': '### System:\n'

'You are an AI assistant that follows instruction extremely well. '

'Help as much as you can.',

'role': 'system'},

{'content': 'Can you explain what is a large language model?', 'role': 'user'},

{'content': ' A large language model (LLM) is a type of artificial '

'intelligence model that uses deep learning techniques to analyze '

'and generate human-like language. These models are trained on '

'massive amounts of text data, which allows them to learn complex '

'patterns and relationships in the language. LLMs can be used for '

'a variety of natural language processing tasks such as language '

'translation, sentiment analysis, speech recognition, and more. '

'They are typically implemented using deep learning frameworks '

'like TensorFlow or PyTorch and require large amounts of '

'computational resources to train and run effectively.',

'role': 'assistant'},

{'content': 'Can you give some examples applications?', 'role': 'user'},

{'content': ' Yes, there are many applications for LLMs, including:\n'

'\n'

'1. Chatbots: LLMs can be used to power chatbots that can '

'understand natural language and respond appropriately to user '

'queries.\n'

'\n'

'2. Virtual assistants: LLMs can help power virtual assistants '

'like Siri or Alexa, allowing them to understand and respond to '

'user requests in a more human-like way.\n'

'\n'

'3. Language translation: LLMs can be used to translate text from '

'one language to another with high accuracy.\n'

'\n'

'4. Sentiment analysis: LLMs can analyze social media posts or '

'customer feedback to determine the sentiment behind the content, '

'which can help businesses understand their customers better.\n'

'\n'

'5. Speech recognition: LLMs can be used to power speech '

'recognition systems that allow users to speak commands and '

'receive responses in natural language.',

'role': 'assistant'},

{'content': 'Are there any limitations?', 'role': 'user'},

{'content': ' Yes, there are some limitations to LLMs, including:\n'

'\n'

'1. Data requirements: LLMs require large amounts of data to '

'train effectively. This means that the model may not perform '

'well on tasks with limited training data.\n'

'\n'

'2. Overfitting: LLMs can sometimes overfit the training data, '

'meaning they memorize the data rather than learning from it. '

'This can lead to poor generalization and accuracy issues when '

'tested on new data.\n'

'\n'

'3. Hardware requirements: LLMs require powerful hardware to run '

'effectively, which may not be available or affordable for all '

'users.\n'

'\n'

'4. Interpretability: LLMs can be difficult to interpret and '

'understand how they are making decisions, which may limit their '

'usefulness in some applications.',

'role': 'assistant'},

{'content': 'Summarize the above in two sentences.', 'role': 'user'},

{'content': ' There are limitations to LLMs such as data requirements, '

'overfitting, hardware requirements, and interpretability.',

'role': 'assistant'}]

您可能会从其他模型中获得更好的结果。由于模型中的随机性，您也可能获得不同的结果。

总结

GPT4All 是一个您可以在计算机上玩的好工具。它可以让您探索与大型语言模型的交互，并帮助您更好地理解模型的优势和局限性。在这篇文章中，您了解到：

GPT4All 有一个您可以安装在计算机上的桌面客户端。
GPT4All 提供 Python 接口，允许您在代码中与语言模型进行交互。
有多种语言模型可用。

关于此主题的更多信息

什么是大型语言模型

什么是零样本提示和少样本提示

32 条对《GPT4All 体验 LLM》的回复

Michael 2023年5月26日上午6:44 #

使用 GPT4All 确实是在计算机上安装 LLM 模型的最简单方法之一。您可以下载的最新模型运行得相当好，虽然还没达到 GPT-4 的水平，但正在接近，而且在接下来的几个月里只会越来越好。我喜欢通过勾选“启用 Web 服务器”复选框，您可以将其设置为 API 服务，以便嵌入到应用程序中。

回复
K hwang 2023年5月27日下午3:14 #

嗨

试用 gpt4all 很好。

但是，我从响应中看到了以下乱码字符：

我该如何纠正这个错误？

非常感谢

### 提示
列出 3 种颜色
### 回复
&64!!7G2;%&C8**”,GAH@)E$<A-E981)$;8(90BD;;4::=.,GABD2-61&4H$36!0);&&.7<=(E,%D:)
{'model': 'ggml-gpt4all-j-v1.3-groovy',
'usage': {'prompt_tokens': 239,
'completion_tokens': 128,
'total_tokens': 367},
'choices': [{'message': {'role': 'assistant',
'content': '&64!!7G2;%&C8**”,GAH@)E$<A-E981)$;8(90BD;;4::=.,GABD2-61&4H$36!0);&&.7<=(E,%D:)'}}]}

回复
- James Carmichael 2023年5月28日上午6:09 #
  
  嗨 K hwang… 您可以尝试在 Google Colab 中使用您的模型，以排除本地环境中的任何问题。
  
  回复
K hwang 2023年5月30日下午12:52 #

谢谢。
我在 COLAB 中试过，没问题。

我的笔记本电脑上仍然出现同样的问题。
我现在使用的是韩文字体。

这是字体问题吗？

回复
- Adrian Tam 2023年5月31日上午4:35 #
  
  字体不应该是问题。但也许您输入的是拉丁字母的“全角”版本？例如，ＡＢＣ与 ABC。
  
  回复
  - K hwang 2023年5月31日下午12:09 #
    
    你好 Adrian
    
    当我尝试其他提示（问题）时，我得到了以下响应：
    
    感谢您的好意。
    
    找到模型文件。
    ### 说明
    下面的提示是问题、要完成的任务或对话
    需要回应；请决定是哪种并写出适当的回应。
    
    ### 提示
    美国的首都
    ### 回复
    %(9BH-G,>!.50>8%FA,)E=499C2″”3+,:,-5-165;!@27$,9<=EA84!ACG1C4ECC5@<%+A,4"@H+3:-5"90F1$2:H!CH*F,+=$
    
    ### 说明
    下面的提示是问题、要完成的任务或对话
    需要回应；请决定是哪种并写出适当的回应。
    
    ### 提示
    美国？
    ### 回复
    87957;;G,F%21D(C&,=94;&61<$=.9FDE4A81H&8F$@9@,$&*E%D,EHA1%&)G=H0GB$):2G2$139H*<<4:92A=C$<6A:,1-$.D8*7C
    
    ### 说明
    下面的提示是问题、要完成的任务或对话
    需要回应；请决定是哪种并写出适当的回应。
    
    ### 提示
    我是谁
    ### 回复
    ";D);)*)(8E2-3A54;8<,332$=22.8$+!$6(59)HH0=$>E7)=,A3>.@-F+A8<DE6&,9C%04H*2%$A517A=86:(59&G.*:9
    {'model': 'ggml-gpt4all-j-v1.3-groovy',
    'usage': {'prompt_tokens': 234,
    'completion_tokens': 128,
    'total_tokens': 362},
    'choices': [{'message': {'role': 'assistant',
    'content': '";D);)*)(8E2-3A54;8<,332$=22.8$+!$6(59)HH0=$>E7)=,A3>.@-F+A8<DE6&,9C%04H*2%$A517A=86:(59&G.*:9:'}}]}
    
    回复
John Warford 2023年5月31日上午1:43 #

我和 K hwang 有同样的问题。我正在使用 Windows 10 以及最新版本的 Python 和 PyCharm。

### 提示
给我列出 10 种颜色及其 RGB 代码
### 回复
71*F).D=&8;)6A&9B1″:&+1;H7:),E3+HGE4)$0H($8.0%GF.).H(5H06A37″=:2;;*0″2!H)>FE3+,@”@,,($5$93&5H+1&,!+<;53"16@)0()=!H%;9$;
{'model': 'ggml-gpt4all-j-v1.3-groovy', 'usage': {'prompt_tokens': 272, 'completion_tokens': 128, 'total_tokens': 400}, 'choices': [{'message': {'role': 'assistant', 'content': '71*F).D=&8;)6A&9B1":&+1;H7:),E3+HGE4)$0H($8.0%GF.).H(5H06A37″=:2;;*0″2!H)>FE3+,@”@,,($5$93&5H+1&,!+<;53"16@)0()=!H%;9$;:'}}]}

Process finished with exit code 0

回复
- James Carmichael 2023年5月31日上午9:18 #
  
  嗨 John… 好奇问一下… 您在 Google Colab 中试过您的模型吗？
  
  回复
  - John Warford 2023年5月31日下午4:25 #
    
    嗨 James，抱歉，我忘了说明我只是使用了您上面的第一个示例。所以现在我已确认它在 Colab 中运行正常，但在 PyCharm 中和在命令提示符中使用命令行时，我仍然得到相同的乱码输出。
    
    —————
    import gpt4all
    
    gptj = gpt4all.GPT4All(“ggml-gpt4all-j-v1.3-groovy”)
    messages = [{“role”: “user”, “content”: “Give me a list of 10 colors and their RGB code”}]
    ret = gptj.chat_completion(messages)
    print(ret)
    
    100%|██████████| 3.79G/3.79G [01:29<00:00, 42.1MiB/s]
    模型下载于：/root/.cache/gpt4all/ggml-gpt4all-j-v1.3-groovy.bin
    ### 说明
    下面的提示是问题、要完成的任务或对话
    需要回应；请决定是哪种并写出适当的回应。
    
    ### 提示
    给我列出 10 种颜色及其 RGB 代码
    ### 回复
    这是一个包含 10 种颜色及其 RGB 代码的列表：红色 (255, 0, 0) 蓝色 (0, 255, 0) 绿色 (0, 0, 255) 黄色 (255, 255, 0) 橙色 (255, 127, 0) 紫色 (0, 128, 0) 粉色 (255, 192, 203) 灰色 (128, 128, 128) 黑色 (0, 0, 0) 白色 (255, 255, 255)
    {'model': 'ggml-gpt4all-j-v1.3-groovy', 'usage': {'prompt_tokens': 272, 'completion_tokens': 244, 'total_tokens': 516}, 'choices': [{'message': {'role': 'assistant', 'content': ' 这是一个包含 10 种颜色及其 RGB 代码的列表：红色 (255, 0, 0) 蓝色 (0, 255, 0) 绿色 (0, 0, 255) 黄色 (255, 255, 0) 橙色 (255, 127, 0) 紫色 (0, 128, 0) 粉色 (255, 192, 203) 灰色 (128, 128, 128) 黑色 (0, 0, 0) 白色 (255, 255, 255)'}}]}
    ——-
    
    回复
- Dee 2023年7月19日上午7:21 #
  
  嗨 John，
  
  我也在 Windows 上本地运行 GPT4All。但我在导入 GPT4All 时遇到了一个非常奇怪的错误：“TypeError: ‘type’ object is not subscriptable”。
  
  我想知道您是否遇到过这个错误？我的 Python 虚拟环境是：Python v3.8.17 和 GPT4All v1.0.5。
  
  我不确定这是否是由于 Python 版本和/或 GPT4All 版本引起的。您能否告诉我您的 Python 和 GPT4All 版本？
  
  谢谢！
  
  回复
John Warford 2023年5月31日下午4:28 #

这是我的完整控制台输出：
python main.py
你好，PyCharm
找到模型文件。
gptj_model_load: loading model from ‘C:\\\\Users\\\\jwarfo01\\\\.cache\\\\gpt4all\\ggml-gpt4all-j-v1.3-groovy.bin’ – please wait …
gptj_model_load: n_vocab = 50400
gptj_model_load: n_ctx = 2048
gptj_model_load: n_embd = 4096
gptj_model_load: n_head = 16
gptj_model_load: n_layer = 28
gptj_model_load: n_rot = 64
gptj_model_load: f16 = 2
gptj_model_load: ggml ctx size = 5401.45 MB
gptj_model_load: kv self size = 896.00 MB
gptj_model_load: done
gptj_model_load: model size = 123.05 MB / num tensors = 1
### 说明
下面的提示是问题、要完成的任务或对话
需要回应；请决定是哪种并写出适当的回应。

### 提示
给我列出 10 种颜色及其 RGB 代码
### 回复
EAB8;-50B3B3)19&G*-$%3FCB+;%,B:-=E:F&B*)1(@+2!18(*2>;,H)*C)3F8B494@3+%9A19!)F
{‘model’: ‘ggml-gpt4all-j-v1.3-groovy’, ‘usage’: {‘prompt_tokens’: 272, ‘completion_tokens’: 128, ‘total_tokens’: 400}, ‘choices’: [{‘message’: {‘role’: ‘assistant’, ‘content’: ‘EAB8;-50B3B3)19&G*-$%3FCB+;%,B:-=E:F&B*)1(@+2!18(*2>;,H)*C)3F8B494@3+%9A19!)F’}}]}

回复
Achim 2023年5月31日下午5:35 #

大家好，请问有人知道如何处理额外的上下文信息吗？

回复
- James Carmichael 2023年6月1日上午5:16 #
  
  嗨 Achim… 请澄清“处理额外的上下文信息”是什么意思。这样我们才能更好地帮助您。
  
  回复
  - Achim 2023年6月2日上午1:05 #
    
    嗨，我想对文档进行相似性搜索，根据我想传递给 GPT4All 的问题：这应该用作问题的上下文。
    
    -> 我想将问题和上下文馈送给 GPT4All。
    
    谢谢
    
    回复
John Warford 2023年5月31日下午7:28 #

供参考：同样的脚本在 Ubuntu 上运行正常。我在 Windows Linux 子系统下设置了它。

回复
catherine 2023年6月2日下午4:43 #

我注意到响应有时会在句子中间被截断。在使用 gptm.generate 和 chat_complete 时，是否有办法确保返回完整的响应？

回复
- James Carmichael 2023年6月3日上午11:40 #
  
  嗨 catherine… 我不熟悉这个问题。您能否提供一个例子，以便我们尝试重现您的结果？
  
  另外，更多信息可以在这里找到：
  
  https://gpt4all.io/index.html
  
  回复
K hwang 2023年6月3日下午4:26 #

嗨

当我下载以下文件时，我解决了奇怪的字体问题：

文件名 —> ggml-gpt4all-j-v1.3-groovy.bin 3.69 GB

问题是这个 ggml-gpt4all-j-v1.3-groovy.bin 没有完全下载。
我手动下载了那个有问题的文件 ~/.cache/gpt4all。

祝您 GPT 之旅愉快。

########### 正确的响应如下 ######################

找到模型文件。
### 说明
下面的提示是问题、要完成的任务或对话
需要回应；请决定是哪种并写出适当的回应。

### 提示
列出 3 种颜色
### 回复
蓝色、绿色和红色
### 说明
下面的提示是问题、要完成的任务或对话
需要回应；请决定是哪种并写出适当的回应。

### 提示
美国的首都
### 回复
美国的首都华盛顿特区，也被称为“美国之都”。
### 说明
下面的提示是问题、要完成的任务或对话
需要回应；请决定是哪种并写出适当的回应。

### 提示
美国？
### 回复
我来自美国。
### 说明
下面的提示是问题、要完成的任务或对话
需要回应；请决定是哪种并写出适当的回应。

### 提示
我是谁
### 回复
我是一个计算机程序，旨在协助您完成任务和回答问题。我被创建的目的是帮助您完成日常任务并回答可能出现的任何问题。我被编程为根据您问题的上下文进行理解和适当响应。我在这里以任何可能的方式帮助您。

回复
Ben Langley 2023年6月6日下午11:38 #

你好！

我喜欢您的文章，这是一篇很棒的读物！

我最近一直在玩 GPT4All，我想根据您说的一句话问一个问题。
在“什么是 GPT4All？”标题下，您写道“它允许您训练和部署自己的模型”。训练和部署自己的模型真的可能吗？我尝试了很久但找不到方法。您能帮帮我吗？

提前感谢！

回复
- James Carmichael 2023年6月7日下午1:12 #
  
  嗨 Ben… 不客气！以下资源可能对您感兴趣：
  
  https://machinelearning.org.cn/a-first-course-on-deploying-python-projects/
  
  回复
John Warford 2023年6月11日上午5:03 #

嗨 James，我很高兴地报告，经过几次尝试，我能够直接下载 ggml-gpt4all-j-v1.3-groovy.bin 的全部 3.6 GB。

我的脚本现在运行正常了。感谢这篇很棒的文章。

就像上面的 K hwang 一样：我没有意识到最初的下载失败了。

这是我在 Windows 10 上的 Pycharm 中的成功输出。

找到模型文件。
gptj_model_load: loading model from ‘C:\\\\Users\\\\jwarfo01\\\\.cache\\\\gpt4all\\ggml-gpt4all-j-v1.3-groovy.bin’ – please wait …
gptj_model_load: n_vocab = 50400
gptj_model_load: n_ctx = 2048
gptj_model_load: n_embd = 4096
gptj_model_load: n_head = 16
gptj_model_load: n_layer = 28
gptj_model_load: n_rot = 64
gptj_model_load: f16 = 2
gptj_model_load: ggml ctx size = 5401.45 MB
gptj_model_load: kv self size = 896.00 MB
gptj_model_load: …………………………….. done
gptj_model_load: model size = 3609.38 MB / num tensors = 285
### 说明
下面的提示是问题、要完成的任务或对话
需要回应；请决定是哪种并写出适当的回应。

### 提示
列出 3 种颜色
### 回复
蓝色、绿色和红色
{‘model’: ‘ggml-gpt4all-j-v1.3-groovy’, ‘usage’: {‘prompt_tokens’: 239, ‘completion_tokens’: 20, ‘total_tokens’: 259}, ‘choices’: [{‘message’: {‘role’: ‘assistant’, ‘content’: ‘ Blue, Green and Red’}}]}

Process finished with exit code 0

回复
flaming flamingo99 2023年7月4日下午6:44 #

我在哪里可以找到可用的模型名称？

回复
- James Carmichael 2023年7月5日上午7:24 #
  
  嗨… 以下概述可能对您感兴趣：
  
  https://wandb.ai/mostafaibrahim17/ml-articles/reports/An-Overview-of-Large-Language-Models-LLMs—VmlldzozODA3MzQz
  
  回复
Sanjay Dasgupta 2023年7月15日下午10:25 #

不幸的是，gpt4all API 尚不稳定，当前版本（截至 2023 年 7 月 15 日为 1.0.5）与本文档中的优秀示例代码不兼容。

但通过对 API 的一些调整，可以发现以下更改（请参阅注释之间的两行新代码）可能很有用：

import gpt4all

gptj = gpt4all.GPT4All(“ggml-gpt4all-j-v1.3-groovy”)
messages = [{“role”: “user”, “content”: “Give me a list of 10 colors and their RGB code”}]
# 此注释上方无更改
prompt = gptj._format_chat_prompt_template(messages)
response = gptj.generate(prompt)
# 此注释下方无更改
ret = gptj.chat_completion(messages)

回复
Dee 2023年7月19日上午2:43 #

你好 Adrian，

非常感谢您介绍了如何在本地运行 GPT4All 模型！

关于在 Python 中使用 GPT4All，我首先在我的本地计算机上安装了一个 Python 虚拟环境，然后通过“pip install gpt4all”命令安装了 GPT4All。之后，我尝试运行您提供的简单代码，但遇到了一个奇怪的错误：

”
回溯（最近一次调用）
File “F:\model_gpt4all\local_test.py”, line 1, in
import gpt4all
File “F:\nlp_llm\lib\site-packages\gpt4all\__init__.py”, line 1, in
from .gpt4all import GPT4All, Embed4All # noqa
File “F:\nlp_llm\lib\site-packages\gpt4all\gpt4all.py”, line 13, in
from . import pyllmodel
File “F:\nlp_llm\lib\site-packages\gpt4all\pyllmodel.py”, line 140, in
class LLModel
File “F:\nlp_llm\lib\site-packages\gpt4all\pyllmodel.py”, line 253, in LLModel
) -> list[float]
TypeError: ‘type’ object is not subscriptable
”

看来 GPT4All 库可能存在 bug。您能否告诉我您是否遇到过这个错误？

我的运行环境是：

操作系统：Windows 11
Python：v3.8.17
GPT4All：v1.0.5

我不确定这是否是由于 Python 版本或 GPT4All 版本引起的？您能否给我一些建议？

非常感谢！

回复
- James Carmichael 2023年7月19日上午7:43 #
  
  感谢 Dee 的反馈！我们将进行调查并告知您我们的发现。在此期间，您可能需要发布到 StackOverflow 以增加其他人提供您遇到的错误的见解的可能性。
  
  回复
Dee 2023年7月19日上午7:02 #

嗨 John，

我也在本地运行 GPT4All 的 Windows 上。但我在 PyCharm 中导入 GPT4All 时遇到了一个非常奇怪的错误：“TypeError: ‘type’ object is not subscriptable”。我想知道您是否遇到过这个错误？我的运行环境是：Python v3.8.17 和 GPT4All v1.0.5。您能否告诉我您使用的 Python 和 GPT4All 版本？

谢谢！

回复
Santos 2023年11月16日下午6:42 #

我尝试了一下，报错了，帮帮我。
from gpt4all import GPT4All
model = GPT4All(“orca-mini-3b-gguf2-q4_0.gguf”)
output = model.generate(“The capital of France is “, max_tokens=3)
print(output)

错误：python3 hello.py
回溯（最近一次调用）
File “/usr/lib/python3/dist-packages/urllib3/connection.py”, line 169, in _new_conn
conn = connection.create_connection(
File “/usr/lib/python3/dist-packages/urllib3/util/connection.py”, line 96, in create_connection
raise err
File “/usr/lib/python3/dist-packages/urllib3/util/connection.py”, line 86, in create_connection
sock.connect(sa)
TimeoutError: [Errno 110] Connection timed out

处理上述异常时，发生了另一个异常

回溯（最近一次调用）
File “/usr/lib/python3/dist-packages/urllib3/connectionpool.py”, line 700, in urlopen
httplib_response = self._make_request(
File “/usr/lib/python3/dist-packages/urllib3/connectionpool.py”, line 383, in _make_request
self._validate_conn(conn)
File “/usr/lib/python3/dist-packages/urllib3/connectionpool.py”, line 1017, in _validate_conn
conn.connect()
File “/usr/lib/python3/dist-packages/urllib3/connection.py”, line 353, in connect
conn = self._new_conn()
File “/usr/lib/python3/dist-packages/urllib3/connection.py”, line 174, in _new_conn
raise ConnectTimeoutError(
urllib3.exceptions.ConnectTimeoutError: (, ‘Connection to raw.githubusercontent.com timed out. (connect timeout=None)’)

处理上述异常时，发生了另一个异常

回溯（最近一次调用）
File “/usr/lib/python3/dist-packages/requests/adapters.py”, line 439, in send
resp = conn.urlopen(
File “/usr/lib/python3/dist-packages/urllib3/connectionpool.py”, line 756, in urlopen
retries = retries.increment(
File “/usr/lib/python3/dist-packages/urllib3/util/retry.py”, line 574, in increment
raise MaxRetryError(_pool, url, error or ResponseError(cause))
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host=’raw.githubusercontent.com’, port=443): Max retries exceeded with url: /nomic-ai/gpt4all/main/gpt4all-chat/metadata/models2.json (Caused by ConnectTimeoutError(, ‘Connection to raw.githubusercontent.com timed out. (connect timeout=None)’))

处理上述异常时，发生了另一个异常

回溯（最近一次调用）
File “/home/oci7/Documents/Santos/Python/GPTAPI/hello.py”, line 2, in
model = GPT4All(model_name=’orca-mini-3b-gguf2-q4_0.gguf’)
File “/home/oci7/.local/lib/python3.10/site-packages/gpt4all/gpt4all.py”, line 97, in __init__
self.config: ConfigType = self.retrieve_model(model_name, model_path=model_path, allow_download=allow_download, verbose=verbose)
File “/home/oci7/.local/lib/python3.10/site-packages/gpt4all/gpt4all.py”, line 149, in retrieve_model
available_models = GPT4All.list_models()
File “/home/oci7/.local/lib/python3.10/site-packages/gpt4all/gpt4all.py”, line 118, in list_models
resp = requests.get(“https://gpt4all.io/models/models2.json”)
File “/usr/lib/python3/dist-packages/requests/api.py”, line 76, in get
return request(‘get’, url, params=params, **kwargs)
File “/usr/lib/python3/dist-packages/requests/api.py”, line 61, in request
return session.request(method=method, url=url, **kwargs)
File “/usr/lib/python3/dist-packages/requests/sessions.py”, line 544, in request
resp = self.send(prep, **send_kwargs)
File “/usr/lib/python3/dist-packages/requests/sessions.py”, line 679, in send
history = [resp for resp in gen]
File “/usr/lib/python3/dist-packages/requests/sessions.py”, line 679, in
history = [resp for resp in gen]
File “/usr/lib/python3/dist-packages/requests/sessions.py”, line 237, in resolve_redirects
resp = self.send(
File “/usr/lib/python3/dist-packages/requests/sessions.py”, line 657, in send
r = adapter.send(request, **kwargs)
File “/usr/lib/python3/dist-packages/requests/adapters.py”, line 504, in send
raise ConnectTimeout(e, request=request)
requests.exceptions.ConnectTimeout: HTTPSConnectionPool(host=’raw.githubusercontent.com’, port=443): Max retries exceeded with url: /nomic-ai/gpt4all/main/gpt4all-chat/metadata/models2.json (Caused by ConnectTimeoutError(, ‘Connection to raw.githubusercontent.com timed out. (connect timeout=None)’))

回复
- James Carmichael 2023年11月17日上午11:05 #
  
  嗨 Santos… 您是复制粘贴的代码还是手动输入的？
  
  回复
  - Santos 2023年12月4日下午6:18 #
    
    请帮帮我
    
    回复
Santos 2023年11月24日下午4:12 #

复制粘贴

回复
Wendy 2024年7月26日下午7:31 #

你好，

我想知道如何让模型读取我自己的数据集（例如评论）然后总结其内容？

import pprint

import gpt4all

model = gpt4all.GPT4All(“orca-mini-7b.ggmlv3.q4_0.bin”)
with model.chat_session()
response = model.generate(“Give me a list of 10 colors and their RGB code”)
print(response)
pprint.pprint(model.current_chat_session)

回复

导航

通过 GPT4All 初探 LLM

概述

什么是 GPT4All？

如何获取 GPT4All

如何在 Python 中使用 GPT4All

总结

利用 ChatGPT 最大化你的生产力！

让生成式 AI 助您更智能地工作

使用我的最新著作让 AI 为你工作

关于此主题的更多信息

32 条对《GPT4All 体验 LLM》的回复

留下回复点击此处取消回复。

导航

概述

什么是 GPT4All？

如何获取 GPT4All

如何在 Python 中使用 GPT4All

总结

利用 ChatGPT 最大化你的生产力！

让生成式 AI 助您更智能地工作

使用我的最新著作让 AI 为你工作

关于此主题的更多信息

32 条对《GPT4All 体验 LLM》的回复

留下回复 点击此处取消回复。

留下回复点击此处取消回复。