首页 星云 工具 资源 星选 资讯 热门工具
:

PDF转图片 完全免费 小红书视频下载 无水印 抖音视频下载 无水印 数字星空

通过DashScope API调用将多种模态转换为向量

编程知识
2024年09月05日 14:54

本文介绍如何通过模型服务灵积DashScope进行 多模态向量生成 ,并入库至向量检索服务DashVector中进行向量检索。

模型服务灵积DashScope,通过灵活、易用的模型API服务,让各种模态模型的能力,都能方便的为AI开发者所用。通过灵积API,开发者不仅可以直接集成大模型的强大能力,也可以对模型进行训练微调,实现模型定制化。

前提条件

  • DashVector:

    • 已创建Cluster
    • 已获得API-KEY
    • 已安装最新版SDK
    • 已开通服务并获得API-KEY
    • 已安装最新版SDK

ONE-PEACE多模态向量表征

简介

ONE-PEAC是一个 图文音三模态 通用表征模型,在语义分割、音文检索、音频分类和视觉定位几个任务都达到了新SOTA表现,在视频分类、图像分类、图文检索、以及多模态经典benchmark也都取得了比较领先的结果。

说明

关于灵积ONE-PEACE多模态向量表征更多信息请参考:ONE-PEACE多模态向量表征

使用示例

说明

需要进行如下替换代码才能正常运行:

  1. DashVector api-key替换示例中的

  2. DashVector Cluster Endpoint替换示例中的

  3. DashScope api-key替换示例中的

Python

import dashscope
from dashscope import MultiModalEmbedding
from dashvector import Client


dashscope.api_key = '{your-dashscope-api-key}'


# 调用DashScope ONE-PEACE模型,将各种模态素材embedding为向量
def generate_embeddings(text: str = None, image: str = None, audio: str = None):
    input = []
    if text:
        input.append({'text': text})
    if image:
        input.append({'image': image})
    if audio:
        input.append({'audio': audio})
    result = MultiModalEmbedding.call(
        model=MultiModalEmbedding.Models.multimodal_embedding_one_peace_v1,
        input=input,
        auto_truncation=True
    )
    if result.status_code != 200:
        raise Exception(f"ONE-PEACE failed to generate embedding of {input}, result: {result}")
    return result.output["embedding"]


# 创建DashVector Client
client = Client(
    api_key='{your-dashvector-api-key}',
    endpoint='{your-dashvector-cluster-endpoint}'
)

# 创建DashVector Collection
rsp = client.create('one-peace-embedding', 1536)
assert rsp
collection = client.get('one-peace-embedding')
assert collection

# 向量入库DashVector
collection.insert(
    [
        ('ID1', generate_embeddings(text='阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一')),
        ('ID2', generate_embeddings(image='https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png')),
        ('ID3', generate_embeddings(audio='https://dashscope.oss-cn-beijing.aliyuncs.com/audios/cow.flac')),
        ('ID4', generate_embeddings(
            text='阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一',
            image='https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png',
            audio='https://dashscope.oss-cn-beijing.aliyuncs.com/audios/cow.flac'
        ))
    ]
)

# 向量检索
docs = collection.query(
    generate_embeddings(text='The best vector database')
)
print(docs)

相关最佳实践

From:https://www.cnblogs.com/DashVector/p/18398620
本文地址: http://shuzixingkong.net/article/1766
0评论
提交 加载更多评论
其他文章 Dash 2.18版本新特性介绍
本文示例代码已上传至我的Github仓库:https://github.com/CNFeffery/dash-master Gitee同步仓库地址:https://gitee.com/cnfeffery/dash-master 大家好我是费老师,几个小时前Dash发布了其2.18.0版本,执行下面的
Dash 2.18版本新特性介绍 Dash 2.18版本新特性介绍 Dash 2.18版本新特性介绍
40岁大龄失业程序猿,未来该何去何从
再过半年就40岁了,人到中年的我,正在经历着职业生涯中最大的一次坎坷,我失业了。24年的3月份,我上了公司的裁员名单,经过一个月的拉扯,在4月初,我收拾收拾东西,离开了公司,正式进入了失业大军。距离现在已经半年多了,在这半年里,我有很多的尝试,也有很多的感受,就和大家聊一聊吧。
Gaussdb: CN修复失败对openssl版本依赖问题处理
1.问题背景 GaussDB轻量化分布式集群安装完成后,进行openssh和openssl升级,现有环境openssh-8.2p1-9.p03.ky10.x86_64和openssl-1.1.1f-2.ky10.x86_64版本,可以安装数据库,然后升级这两个版本到openssh-8.2p1-9.p
Gaussdb: CN修复失败对openssl版本依赖问题处理 Gaussdb: CN修复失败对openssl版本依赖问题处理 Gaussdb: CN修复失败对openssl版本依赖问题处理
sicp每日一题[1.45]
Exercise 1.45 We saw in Section 1.3.3 that attempting to compute square roots by naively finding a fixed point of y->x/y does not converge, and tha
熔断、限流、降级 —— SpringCloud Hystrix
概述 Hystrix 为 微服务架构提供了一整套服务隔离、服务熔断和服务降级的解决方案。它是熔断器的一种实现,主要用于解决微服务架构的高可用及服务雪崩等问题 Hystrix 的特性如下: 服务熔断:Hystrix 熔断器就像家中的安全阀一样,一旦某个服务不可用,熔断器就会直接切断该链路上的请求,避免
熔断、限流、降级 —— SpringCloud Hystrix
lxml官方入门教程(The lxml.etree Tutorial)翻译
lxml官方入门教程(The lxml.etree Tutorial)翻译 说明: 首次发表日期:2024-09-05 官方教程链接: https://lxml.de/tutorial.html 使用KIMI和豆包机翻 水平有限,如有错误请不吝指出 这是一个关于使用lxml.etree处理XML的教
005.MinIO-DirectPV分布式多租户存储部署
MinIO部署准备 部署概述 本实验结合Kubernetes进行MinIO部署,实现MinIO于Kubernetes的融合。 minio官方支持通过简单的快速部署,以便于进行基础测试: curl https://raw.githubusercontent.com/minio/docs/master/
005.MinIO-DirectPV分布式多租户存储部署 005.MinIO-DirectPV分布式多租户存储部署 005.MinIO-DirectPV分布式多租户存储部署
Kubelet证书自动续签(为kubelet配置证书轮换)
1、概述 Kubelet 使用证书进行 Kubernetes API 的认证。 默认情况下,这些证书的签发期限为一年,所以不需要太频繁地进行更新。Kubernetes 包含特性 Kubelet 证书轮换, 在当前证书即将过期时, 将自动生成新的秘钥,并从 Kubernetes API 申请新的证书。
Kubelet证书自动续签(为kubelet配置证书轮换) Kubelet证书自动续签(为kubelet配置证书轮换) Kubelet证书自动续签(为kubelet配置证书轮换)