使用 Spring Boot、Google Cloud Vertex AI 和 Gemini 模型进行基于图像的产品搜索

介绍

想象一下，当你在网上购物时，你会发现一个你喜欢的产品，但你不知道它的名字。上传图片并让应用程序为您找到它不是很棒吗？

在本文中，我们将向您展示如何构建该功能：使用它 spring boot 和 google cloud vertex ai 基于图像的产品搜索功能。

功能概述

该功能允许用户上传图像并接收匹配的产品列表，使搜索体验更加直观和视觉驱动。

利用基于图像的产品搜索功能 google cloud vertex ai 处理图像并提取相关关键字。然后用这些关键字在数据库中搜索匹配的产品。

技术栈

• java 21
• spring 启动 3.2.5
• postgresql
• 顶点人工智能
• reactjs

我们将逐步完成设置此功能的过程。

逐步实施

1. 在google 在console上创建一个新项目

首先，我们需要这样做 google console 在上面创建一个新项目。

如果你已经有一个账户，我们需要转账 https://console.cloud.google.com 并创建一个新帐户。如果您有，请登录此帐户。

若您添加银行账户，google cloud 为您提供免费试用。

在创建帐户或登录现有帐户后，您可以创建新项目。

2. 使用顶点ai服务

我们需要在搜索栏上找到它 vertex ai 并启用所有推荐 api。

vertex ai 是 google cloud 完全托管机器学习 (ml) 平台，旨在简化 ml 开发、部署和管理模型。它允许你通过提供 automl、大规模建设、培训和部署自定义模型培训、超参数调整和模型监控等工具和服务 ml 模型 gemini 1.5 flash 是 google gemini 模型系列的一部分是专门设计的 ml 设计高效、高性能的推理应用程序。 gemini 模型是 google 一系列先进的开发 ai 模型常用于自然语言处理 (nlp)、视觉任务等 ai 驱动应用程序

注意： 您可以直接使用其他框架 gemini api，网址为 https://aistudio.google.com/app/prompts/new_chat。使用结构提示功能，因为你可以定制输出来匹配输入，这样你就会得到更好的结果。

3. 创建与您的应用程序匹配的新提示

在这一步中，我们需要定制一个与您的应用程序相匹配的提示。

vertex ai studio 提示图库提供了许多示例提示。我们使用示例图像文本到json提取与产品图像相关的关键字。

我的应用程序是一个 carshop，所以我建立了这样的提示。我希望模型能用与图像相关的关键字列表来回复我。

我的提示：将名称 car 提取列表中的关键字， json 格式输出。如果您没有找到任何关于汽车的信息，请将列表输出为空。n响应示例:[rolls”, “royce”, “wraith”]

在我们根据您的应用程序定制适当的提示之后。现在，让我们讨论如何与之交谈 spring boot application 集成。

4. 与 spring boot 集成应用程序

我建立了一个关于汽车的电子商务应用程序。因此，我想通过图像找到汽车。

首先，在 pom.xml 您应该在文件中更新您的依赖项：

<!-- config version for dependency-->
<properties><spring-cloud-gcp.version>5.1.2</spring-cloud-gcp.version><google-cloud-bom.version>26.32.0</google-cloud-bom.version></properties><!-- in your dependencymanagement, please add 2 dependencies below --><dependencymanagement><dependencies><dependency><groupid>com.google.cloud</groupid><artifactid>spring-cloud-gcp-dependencies</artifactid><version>${spring-cloud-gcp.version}</version><type>pom</type><scope>import</scope></dependency><dependency><groupid>com.google.cloud</groupid><artifactid>libraries-bom</artifactid><version>${google-cloud-bom.version}</version><type>pom</type><scope>import</scope></dependency></dependencies></dependencymanagement><!-- in your tab dependencies, please add the dependency below --><dependencies><dependency><groupid>com.google.cloud</groupid><artifactid>google-cloud-vertexai</artifactid></dependency></dependencies>

在 pom.xml 在文件中完成配置后，创建配置类 geminiconfig.java

• model_name：“gemini-1.5-flash”
• location：“设置项目时的位置”
• project_id：“您的项目id”

import com.google.cloud.vertexai.vertexai;
import com.google.cloud.vertexai.generativeai.generativemodel;
import org.springframework.context.annotation.bean;
import org.springframework.context.annotation.configuration;

@configuration(proxybeanmethods = false)
public class geminiconfig {

    private static final string model_name = "gemini-1.5-flash";
    private static final string location = "asia-southeast1";
    private static final string project_id = "yasmini";

    @bean
    public vertexai vertexai() {
        return new vertexai(project_id, location);
    }

    @bean
    public generativemodel getmodel(vertexai vertexai) {
        return new generativemodel(model_name, vertexai);
    }
}

其次，创建图层service、controller实现了寻车功能。创建班级服务。

因为 gemini api 响应的是 markdown 因此，我们需要创建一个函数来帮助转换格式 json，然后我们将 json 转换为 java 中的 list 字符串。

import com.fasterxml.jackson.core.jsonprocessingexception;
import com.fasterxml.jackson.databind.objectmapper;
import com.google.cloud.vertexai.api.content;
import com.google.cloud.vertexai.api.generatecontentresponse;
import com.google.cloud.vertexai.api.part;
import com.google.cloud.vertexai.generativeai.*;
import com.learning.yasminishop.common.entity.product;
import com.learning.yasminishop.common.exception.appexception;
import com.learning.yasminishop.common.exception.errorcode;
import com.learning.yasminishop.product.productrepository;
import com.learning.yasminishop.product.dto.response.productresponse;
import com.learning.yasminishop.product.mapper.productmapper;
import lombok.requiredargsconstructor;
import lombok.extern.slf4j.slf4j;
import org.springframework.stereotype.service;
import org.springframework.transaction.annotation.transactional;
import org.springframework.web.multipart.multipartfile;

import java.util.hashset;
import java.util.list;
import java.util.objects;
import java.util.set;

@service
@requiredargsconstructor
@slf4j
@transactional(readonly = true)
public class yasminiaiservice {

    private final generativemodel generativemodel;
    private final productrepository productrepository;

    private final productmapper productmapper;


    public list<productresponse> findcarbyimage(multipartfile file){
        try {
            var prompt = "extract the name car to a list keyword and output them in json. if you don't find any information about the car, please output the list empty.\nexample response: [\"rolls\", \"royce\", \"wraith\"]";
            var content = this.generativemodel.generatecontent(
                    contentmaker.frommultimodaldata(
                            partmaker.frommimetypeanddata(objects.requirenonnull(file.getcontenttype()), file.getbytes()),
                            prompt
                    )
            );

            string jsoncontent = responsehandler.gettext(content);
            log.info("extracted keywords from image: {}", jsoncontent);
            list<string> keywords = convertjsontolist(jsoncontent).stream()
                    .map(string::tolowercase)
                    .tolist();

            set<product> results = new hashset();
            for (string keyword : keywords) {
                list<product> products = productrepository.searchbykeyword(keyword);
                results.addall(products);
            }

            return results.stream()
                    .map(productmapper::toproductresponse)
                    .tolist();

        } catch (exception e) {
            log.error("error finding car by image", e);
            return list.of();
        }
    }

    private list<string> convertjsontolist(string markdown) throws jsonprocessingexception {
        objectmapper objectmapper = new objectmapper();
        string parsejson = markdown;
        if(markdown.contains("```

json")){
            parsejson = extractjsonfrommarkdown(markdown);
        }
        return objectmapper.readvalue(parsejson, list.class);
    }

    private string extractjsonfrommarkdown(string markdown) {
        return markdown.replace("

```json\n", "").replace("\n```

", "");
    }
}


</string></product></product></string></productresponse>

我们需要创建一个控制器类来制作前端的端点

import com.learning.yasminishop.product.dto.response.productresponse;
import lombok.requiredargsconstructor;
import lombok.extern.slf4j.slf4j;
import org.springframework.security.access.prepost.preauthorize;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.multipartfile;

import java.util.list;

@restcontroller
@requestmapping("/ai")
@requiredargsconstructor
@slf4j
public class yasminiaicontroller {

    private final yasminiaiservice yasminiaiservice;


    @postmapping
    public list<productresponse> findcar(@requestparam("file") multipartfile file) {

        var response = yasminiaiservice.findcarbyimage(file);
        return response;
    }
}



</productresponse>

5. 重要步骤：使用 google cloud cli 登录 google cloud

spring boot 应用程序不能验证你的身份，也不能让你接受 google cloud 中的资源。

因此，我们需要登录谷歌并提供授权。

5.1 首先，我们需要在您的机器上安装gcloud cli

教程链接：https://cloud.google.com/sdk/docs/install 检查上面的链接，并将其安装在您的机器上

5.2 登录

1. 在项目中打开你的终端(你必须打开你的终端) cd 进入项目）
2. 类型：gcloud auth login
3. 输入，您将看到允许登录的窗口

gcloud auth login

注意： 登录后，凭证将保存 google maven 包中，重启 spring boot 不需要再次登录应用程序。

结论

所以以上都是基于我的电子商务项目，你可以根据你的项目和框架进行修改。除了其他框架 spring boot（nestjs，..），您可以使用 https://aistudio.google.com/app/prompts/new_chat。而且不需要创造新的 google cloud 帐户。

在我的repo中可以查看具体的实现：

后端：https://github.com/duongminhhieu/yasminishop 前端：https://github.com/duongminhhieu/yasmini-frontend

快乐学习！！！！

以上就是使用 Spring Boot、Google Cloud Vertex AI 和 Gemini 基于图像的产品搜索模型的详细内容，更多请关注图灵教育的其它相关文章！