使用 Quarkus、Ollama 和 Testcontainers 构建本地 LLM AI 支持的应用程序

传统上，许多人工智能驱动的应用程序依赖基于云的 api 或集中式服务来进行模型托管和执行。虽然这种方法有其优点，例如可扩展性和易用性，但它也带来了有关延迟、数据隐私和对第三方提供商的依赖的挑战。

这就是本地人工智能模型的闪光点。通过直接在应用程序的基础架构中运行模型，您可以更好地控制性能、数据安全性和部署灵活性。然而，构建这样的系统需要正确的工具和框架来弥合传统软件开发和人工智能模型集成之间的差距。

在本文中，我们将探讨如何将 quarkus（一种针对云原生应用程序优化的现代 java 框架）与 ollama（一种用于本地运行 ai 模型的平台）结合起来。我们还将演示 testcontainers 和 quarkus dev services 等工具如何简化开发和测试工作流程。使用 pingpong-ai 项目作为实际示例，您将学习如何构建和测试利用本地模型的力量的 ai 驱动的应用程序。

pingpong-ai 项目演示了使用 quarkus 作为后端框架和 ollama 来处理 ai 模型的 ai 驱动功能的简单实现。让我们分解架构并浏览一下代码的关键组件。

项目概况

在 pingpong-ai 中，ollama 用于模拟一个简单的对话模型，其中好奇的服务围绕某个主题生成问题，明智的服务以信息丰富的答案进行响应，这将产生更多关于好奇的服务的问题。

该项目将 quarkus 与 ollama 集成以创建 ai 模型驱动的应用程序。它利用 quarkus 的轻量级快速开发模型作为调用和管理 ai 交互的后端。以下是我们将要介绍的内容的概述：

1. 将 quarkus 与 ollama 集成
2. 使用测试容器进行集成测试
3. 利用 quarkus 开发服务来简化开发

1. quarkus 与 ollama 集成 为什么是奥拉马？

ollama 简化了应用程序中 ai 模型的部署和使用。它为 ai 模型执行提供运行时，并且可以轻松集成到现有应用程序中。

quarkus 和 ollama 集成

与 quarkus 的集成是使用 rest 端点与 ollama 交互来处理的。 quarkus 应用程序充当中间件来处理客户端请求并与 ollama 运行时通信。

这是 pingpongresource.java 中的一个片段，它定义了 pingpong 交互的 rest 端点：

@path("/chat")
public class curiouschatresource {
    @inject
    curiousservice curiousservice;

    @inject
    wiseservice wiseservice;

   @post
    @produces(mediatype.text_plain)
    @consumes(mediatype.text_plain)
    @path("/{numberofquestions}")
    public string chat(@pathparam("numberofquestions") integer numberofquestions, string topic) {
        stringbuilder sb = new stringbuilder();
        sb.append("> topic: ").append(topic).append("
");
        while (numberofquestions-- > 0) {
            string question = curiousservice.chat(topic);
            sb.append("> question: ").append(question).append("
");
            topic = wiseservice.chat(question);
            sb.append("> answer: ").append(topic).append("
");
        }

        return sb.tostring();
    }
}

在此代码中：

• curiouschatresource 处理客户端 post 请求。
• 注入的 curiousservice 和 wiseservice 接口与 ollama 运行时来处理消息。

这些 ollama 服务负责调用 ollama 运行时。这是 curiousservice.java 的片段：

@registeraiservice
@systemmessage("you are a curious person that creates a short question for every message you receive.")
public interface curiousservice {
    public string chat(@usermessage string message);
}

我们甚至可以为每个服务使用不同的模型，指定标识模型的配置属性。这个例子来自curiousservice.java：

@registeraiservice(modelname = "curiousmodel")

我们在 application.properties 中识别模型：

quarkus.langchain4j.ollama.wisemodel.chat-model.model-id=tinydolphin
quarkus.langchain4j.ollama.curiousmodel.chat-model.model-id=tinyllama

2. 使用测试容器进行集成测试 为什么选择测试容器？

testcontainers 是一个 java 库，用于在测试期间运行轻量级、一次性容器。在 pingpong-ai 中，测试容器用于设置具有 ollama 运行时的环境以进行集成测试。

示例：为 ollama 设置测试容器

测试类演示了如何配置和使用测试容器：

@quarkustest
class curiouschatresourcetest {
    @inject
    curiousservice curiousservice;

    @inject
    wiseservice wiseservice;

    @test
    @activaterequestcontext
    void testfxmaincontrollerinteraction() {

        // perform interaction and assertions
        var curiousanswer = curiousservice.chat("barcelona");
        var response = wiseservice.chat(curiousanswer);

        log.infof("wise service response: %s", response);
        // using llama2 model we can check if the response contains 'barcelona', but not
        // with tinyllama
        assertfalse(response.isempty(), "response should not be empty");
    }
    @test
    @activaterequestcontext
    void testchatendpoint() {
        given()
            .when()
                .body("barcelona")
                .contenttype(contenttype.text)
                .post("/chat/3")
            .then()
                .statuscode(200)
                .contenttype(contenttype.text)
                .body(not(empty()))
                .body(org.hamcrest.matchers.stringcontainsinorder("question:", "answer:", "question:", "answer:", "question:", "answer:"));

    }
}

要点：

• @quarkustest 注解允许 quarkus 以测试友好的模式运行应用程序。
• quarkus 找到一个需要实例的服务 (ollama)，它将为此启动一个容器。

3. 利用 quarkus 为 ollama 开发服务 什么是 quarkus 开发服务？

quarkus dev services 简化了开发过程中所需服务的设置。对于这个项目，quarkus dev services 可以自动启动 ollama 运行时容器。

配置开发服务

application.properties 文件包含启用开发服务的配置：

quarkus.langchain4j.ollama.chat-model.model-id=tinyllama
quarkus.langchain4j.ollama.devservices.model=tinyllama
quarkus.langchain4j.log-requests=true

通过这些配置，当应用程序在开发模式或测试中运行时，quarkus dev services 会自动启动 ollama 容器，无需手动设置。

开发流程

您可以使用以下命令在开发模式下启动应用程序：

./mvnw quarkus:dev

此命令：

• 启动 quarkus 应用程序。
• 自动设置 ollama 运行时容器。
• 支持热重载以实现快速开发。

结论

pingpong-ai 项目演示了 quarkus 与 ollama 的无缝集成，可以轻松构建人工智能驱动的应用程序。通过利用 testcontainers 和 quarkus 开发服务，开发人员可以在容器化和自动化环境中高效地测试和开发他们的应用程序。

要点：

• quarkus 提供了一个用于构建和部署 java 应用程序的轻量级框架。
• ollama 简化了 ai 模型与后端系统的集成。
• 测试容器和开发服务简化了测试和开发工作流程。

要进一步探索这个项目，请查看 pingpong-ai github 存储库。

以上就是使用 Quarkus、Ollama 和 Testcontainers 构建本地 LLM AI 支持的应用程序的详细内容，更多请关注图灵教育其它相关文章！