在笔记本电脑本地运行AI聊天机器人的妙招

现在，人们在日常生活中使用各种各样的 人工智能驱动的应用程序。 在您的计算机本地运行大语言模型（LLM），而非使用像 HuggingFace 这样的网络界面，好处多多。 首先，在本地运行 LLM 且不通过网络界面发送数据，能让用户在生成数据时更具隐私性。大多数允许使用 LLM 的网络服务一直都在提醒用户，别通过 LLM 发送任何敏感信息，因为开发人员会监控对话，而且可能有好多人能看到您的数据。

有些人比其他人更在意保护自己的数据，也更愿意在不受监控、更私密的环境里尝试这些服务。像 GPT4ALL 这类本地 LLM 接口，允许用户运行模型，无需通过公司的门户发送他们的提示和回复，而且在测试和自定义模型时能给用户更大的自由。以下是如何在任何支持的设备上安装 GPT4ALL 和本地 LLM 的方法。

GPT4ALL 是由 Nomic AI 开发的一个开源大型语言模型接口，它允许您通过所提供的接口在本地运行您选择的 LLM。该应用程序与各大主流 LLM 的主要发行版均兼容，例如ChatGPT、Llama 和 Mistral。它甚至具备搜索功能，能让您在接口中直接查找可安装到 GPT4ALL 的 LLM 实现及文档集。

您可以在 GPT4ALL 应用程序内部安装、管理和连接到各种 LLM，包括不同模型的用户库。另外，GPT4ALL 利用您计算机的资源，不像其他实现方式那样需要强大的 GPU 才能在本地运行模型。这是因为集成在 GPT4ALL 中的模型被量化为较小的总体规模，从而减少了 LLM 所需的处理能力。GPT4ALL 的目标在于改善公众对人工智能工具和语言模型的获取途径。

GPT4ALL 的图形用户界面（GUI）得到官方对 Windows、macOS 和 Ubuntu 系统的支持。Nomic 为不同的操作系统提供了已编译好的安装文件。然而，对于非 Ubuntu 发行版的 Linux 用户而言，可能需要完成额外的步骤才能让程序运行。要在 Windows 或 macOS 上安装应用程序，只需下载并运行安装程序文件，然后按照说明进行操作。 一旦应用程序安装完成，您就可以运行它，此时它将打开聊天界面，该界面的设计类似于其他 LLM 界面。

想要安装该应用程序的 Linux 用户，如果其发行版与 Ubuntu 安装程序兼容，就可以通过 Ubuntu 安装程序进行安装。也可以利用命令行在 Python 中构建程序。要通过 Python 在 Linux 中借助命令行安装应用程序，您应当在终端中运行以下命令：

使用‘pip’命令安装‘gpt4all’

在 GPT4ALL 上安装大语言模型非常简单。该应用程序拥有一个兼容的大语言模型的列表，您可以搜索并直接在界面中安装。该列表甚至能够帮助您依据运行每个模型所需的内存量、模型所基于的内容、模型的大小以及其他可能作为用户决定因素的参数来进行排序。 所有这些信息在 GPT4ALL 的界面中随时都能获取，允许用户选择最适合其特定需求的模型。

通过 GPT4ALL 能够使用的部分模型需要 API 密钥方可访问。这并非由 GPT4ALL 的团队所决定。相反，若某个模型需要 API 密钥，这是设计和训练此模型的公司给出的指令。诸如 GPT-4 以及部分官方的 Mistral 分发版之类的模型需要 API 密钥才可使用，无论您是在本地运行还是通过网络界面运行。所以，很不幸，如果您想要使用 OpenAI 密钥服务，使用 GPT4ALL 并非是绕过付费的途径。