首页 星云 工具 资源 星选 资讯 热门工具
:

PDF转图片 完全免费 小红书视频下载 无水印 抖音视频下载 无水印 数字星空

通过Jupyter Notebook+OpenAI+ollama简单的调用本地模型

编程知识
2024年07月26日 23:10

通过Jupyter Notebook+OpenAI+ollama简单的调用本地模型

起因是收到了ollama的邮件,貌似支持使用openai来调用本地的ollama下载的模型为自己用
image

想了下正好试下,因为这几天正好在尝试用Jupyter Notebook来写点调用api的方式来使用大语言模型,看看后面能不能自己做点有意思的操作,openai的api key懒得搞,整点阿里云的免费的token先用用还是可以的

刚好使用阿里的OpenAI Chat接口兼容实例代码

要先做好的部分

打开ollama

直接cmd输入ollama serve,一般是没问题的

安装好openai包

在你要是用的环境下执行pip install -U openai

我这里用的是1.36.1

image

确认没有问题以后,我们就使用多轮对话的部分,下面就是阿里云的实例代码

from openai import OpenAI
import os

def get_response(messages):
    client = OpenAI(
        # 如果您没有配置环境变量,请在此处用您的API Key进行替换
        api_key=os.getenv("DASHSCOPE_API_KEY"), 
        # 填写DashScope服务的base_url
        base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
    )
    completion = client.chat.completions.create(
        model="qwen-turbo",
        messages=messages,
        temperature=0.8,
        top_p=0.8
        )
    return completion

messages = [{'role': 'system', 'content': 'You are a helpful assistant.'}]
# 您可以自定义设置对话轮数,当前为3
for i in range(3):
    user_input = input("请输入:")
    # 将用户问题信息添加到messages列表中
    messages.append({'role': 'user', 'content': user_input})
    assistant_output = get_response(messages).choices[0].message.content
    # 将大模型的回复信息添加到messages列表中
    messages.append({'role': 'assistant', 'content': assistant_output})
    print(f'用户输入:{user_input}')
    print(f'模型输出:{assistant_output}')
    print('\n')

正常来说DASHSCOPE_API_KEY就是用阿里云的api key,我们按照邮件里面的说法,对其中的一些参数进行修改

修改后的

from openai import OpenAI
import os

def get_response(messages):
    client = OpenAI(
        # 如果您没有配置环境变量,请在此处用您的API Key进行替换
        api_key='ollama',
        # 填写DashScope服务的base_url
        base_url="http://localhost:11434/v1",
    )
    completion = client.chat.completions.create(
        model="qwen:14b",
        messages=messages,
        temperature=0.8,
        top_p=0.8
        )
    return completion

messages = [{'role': 'system', 'content': 'You are a helpful assistant.'}]
# 您可以自定义设置对话轮数,当前为3
for i in range(3):
    user_input = input("请输入:")
    # 将用户问题信息添加到messages列表中
    messages.append({'role': 'user', 'content': user_input})
    assistant_output = get_response(messages).choices[0].message.content
    # 将大模型的回复信息添加到messages列表中
    messages.append({'role': 'assistant', 'content': assistant_output})
    print(f'用户输入:{user_input}')
    print(f'模型输出:{assistant_output}')
    print('\n')

主要就是换这三个地方,api_key改成ollama,base_url改成本地的ollama端口我这里是http://localhost:11434/v1,model改成你的模型名,这里我用的是qwen:14b,没办法,电脑配置不好

image

然后就可以对话着玩了

image

如果调用成功了的话在cmd上会有输出输入,而且任务管理器的GPU会显著提升

image

From:https://www.cnblogs.com/jokingremarks/p/18326494
本文地址: http://shuzixingkong.net/article/469
0评论
提交 加载更多评论
其他文章 Asp .Net Core 系列:详解授权以及实现角色、策略、自定义三种授权和自定义响应
什么是授权(Authorization)? 在 ASP.NET Core 中,授权(Authorization)是控制对应用资源的访问的过程。它决定了哪些用户或用户组可以访问特定的资源或执行特定的操作。授权通常与身份验证(Authentication)一起使用,身份验证是验证用户身份的过程,授权与身
Asp .Net Core 系列:详解授权以及实现角色、策略、自定义三种授权和自定义响应
后端说,单页面SPA和前端路由是怎么回事
没有请求的路由 在传统开发中,浏览器点击一个超链接,就会像后端web服务器发送一个html文档请求,然后页面刷新。但开始单页面开发后,就完全不同了。 单页面?这个概念难以理解。我用一个js作为整个web应用,然后再这个js中操作dom变化,以此来实现页面变化。这不叫单页面吗?这叫!但不完善,因为这种
后端说,单页面SPA和前端路由是怎么回事
矩阵的奇异值分解(SVD)及其应用
该博客针对矩阵的奇异值分解(SVD)展开介绍,主要介绍了奇异值分解的计算及其几何意义,并基于C++编程语言举例说明了SVD分解的一些应用。
矩阵的奇异值分解(SVD)及其应用 矩阵的奇异值分解(SVD)及其应用 矩阵的奇异值分解(SVD)及其应用
微服务:解决复杂业务的妙方
1 微服务介绍 1)什么是微服务 ​ 微服务(Microservices)是一种软件架构风格,它将一个大型应用程序拆分成许多较小的、松散耦合的、独立运行的服务。这些服务通常围绕特定功能或业务领域组织,可以独立开发、部署、扩展和更新。微服务之间通过轻量级的通信协议(如HTTP/REST、消息队列等)相
微服务:解决复杂业务的妙方 微服务:解决复杂业务的妙方 微服务:解决复杂业务的妙方
提高 C# 的生产力:C# 13 更新完全指南
前言 预计在 2024 年 11 月,C# 13 将与 .NET 9 一起正式发布。今年的 C# 更新主要集中在 ref struct 上进行了许多改进,并添加了许多有助于进一步提高生产力的便利功能。 本文将介绍预计将在 C# 13 中添加的功能。 注意:目前 C# 13 还未正式发布,因此以下内容
浅谈 I/O 与 I/O 多路复用
1.基础知识 网络编程里常听到阻塞IO、非阻塞IO、同步IO、异步IO等概念,总听别人聊不如自己下来钻研一下。不过,搞清楚这些概念之前,还得先回顾一些基础的概念。 下面说的都是Linux环境下,跟Windows环境不一样哈·☺。 1.1 用户空间和内核空间 现在操作系统都采用虚拟寻址,处理
浅谈 I/O 与 I/O 多路复用 浅谈 I/O 与 I/O 多路复用 浅谈 I/O 与 I/O 多路复用
解锁 SQL Server 2022的时间序列数据功能
解锁 SQL Server 2022的时间序列数据功能 SQL Server2022在处理时间序列数据时,SQL Server 提供了一些优化和功能,比如 DATE_BUCKET 函数、窗口函数(如 FIRST_VALUE 和 LAST_VALUE)以及其他时间日期函数,以便更高效地处理时间序列数据
解锁 SQL Server 2022的时间序列数据功能 解锁 SQL Server 2022的时间序列数据功能 解锁 SQL Server 2022的时间序列数据功能
Django模型中的save方法 精讲
两种方法定义在Django模型中的save方法有不同的参数处理方式。 第一种方法: def save(self, *args, **kwargs): super().save(*args, **kwargs) 特点: 使用*args和**kwargs来捕获所有位置参数和关键字参数。 这样的方法可以灵