在Modal平台托管部署LLM工具

在Modal平台托管LLM工具: 一种简单的开发、托管和集成LLM工具的方法

现代大型语言模型（LLM）的一大酷炫功能就是能够调用不同的函数。这使得它们可以访问额外的信息来源，与互联网服务互动，甚至与物理世界进行接口交互。在化学领域的早期应用中，我们手动解析模型输出，获取相应函数的参数，调用它们并返回结果。而现在，你可以使用例如OpenAI的函数调用API这样的工具。但问题是，如何开发和托管一个新工具呢？

让我们来看一个简单的例子。假设你想帮助你喜欢的LLM通过在PubChem中搜索分子来解答化学问题。虽然网络搜索可以解决这个问题，但它可能不够方便或高效。理想情况下，我们希望将PubChem搜索直接与LLM集成。

我们将从研究如何在数据库中搜索信息开始。经过一些试验和错误，你可能会编写类似下面的代码（你可以在这里下载代码）：

如果你还没有安装PubChemPy，可以通过运行以下命令来安装它：

pip install pubchempy

太棒了！现在我们希望能在某处运行这个代码。Modal提供了一个非常方便的接口来部署Web端点，所以让我们首先注册modal.com，并通过以下命令安装它：

pip install modal  
modal setup  # 登录你的账户

接下来，我们可以为代码加上一些额外的部署代码，如下所示：

现在我们有了一个可以接收请求并从PubChem返回结果的Web端点。让我们部署并测试它：

modal deploy tool.py  # 返回Web函数的URL
curl "https://YOUR-URL.modal.run/?name=aspirin"  # 返回关于阿司匹林的PubChem信息的JSON数据

此时只剩下一步了——尝试将其集成到你的LLM工作流程中。有许多选项可供选择，但为了本篇博文的目的，我们将使用ChatGPT UI创建一个新的自定义GPT。

• 在chatgpt.com上，导航到左侧的“Explore GPTs”
• 
• 点击右上角的“Create”
• 在左侧窗格中回答助手的问题
• 点击“Configure”
• 向下滚动并点击“Create new action”
• 提供架构，并别忘了将URL替换为你的URL。
• 最后，测试它：

现在你可以与自定义的GPT聊天，并确信它可以访问最可靠的分子信息。如果你在配置选项卡中启用了代码解释器访问，你甚至可以进行更复杂的查询。例如：

就这么简单！希望这对你有帮助。这也是我尝试的新形式，所以如果你有任何反馈，我非常愿意听取。

原文链接点击此处