怎么在Windows操作系统部署阿里开源版通义千问（Qwen2）
怎么在Windows操作系统部署阿里开源版通义千问（Qwen2）
| 原创作者/编辑：凯哥Java | 分类：人工智能学习系列教程
GitHub上qwen2截图
随着人工智能技术的不断进步，阿里巴巴通义千问团队近期发布了Qwen2系列开源模型，这一系列模型在多个领域展现出卓越的性能，特别是在自然语言理解、知识、代码、数学及多语言等能力上均显著超越当前领先的模型。本文将详细介绍如何在Windows操作系统上部署阿里开源版通义千问（Qwen2）模型，快速上手并体验这一强大的AI工具。
一、准备工作
在开始部署之前，请确保您的Windows系统满足以下要求：
1. 系统兼容性：确保您的Windows系统版本支持所需的软件安装。
2. 显卡驱动：如果您的计算机配备了独立显卡，请确保显卡驱动是最新的，以便更好地支持模型运行。
3. 硬盘空间：Qwen2模型文件较大，需要足够的硬盘空间来存储。
凯哥使用的电脑配置：
CPU：I7-12700F
内存：32GB
显卡：RTX3060 12G
cpu和内存
显卡
二、下载并安装Ollama
Ollama是一个用于运行大型AI模型的工具，支持多种模型格式，包括Qwen2。首先，您需要从Ollama的官方网站下载并安装Ollama。
-
访问Ollama官网：进入Ollama官网（https://ollama.com/download/windows）。
2. 下载并安装：点击“Download”按钮，选择Windows版本进行下载。下载完成后，按照提示进行安装。
这里凯哥就选择Windows版本的。
ollama官网下载页面
三、下载Qwen2模型
接下来，您需要从阿里通义千问的官方仓库下载Qwen2模型。
1. 访问官方教程：访问Qwen2官方教程（实际链接以官方提供为准）。
https://qwen.readthedocs.io/zh-cn/latest/
2. 选择适合的模型：根据您的硬件条件（如显卡显存大小），选择适合的Qwen2模型版本。在官方教程中，拉到最下面，可以看到效率评估。如下图：
找到效率评估
因为凯哥的显卡是12GB,所以凯哥选择Qwen2-7B-Instruct。如果你的显卡也是12GB，可以选择Qwen2-7B-Instruct版本。
Qwen2-7B-Instruct不同版本内存占用
凯哥使用的下载地址：https://modelscope.cn/models/qwen/Qwen2-7B-Instruct-GGUF/files
3. 下载模型文件：在官方教程中，找到模型下载链接，下载对应的.gguf文件。注意，模型文件可能包含多个精度版本（如q8、q16等），选择适合您需求的版本。
说明：
会看到不同的后缀，q”+ 用于存储权重的位数（精度）+ 特定变体，数字越大性能越强。
数字越大，精度越高，k是在所有的attention和feed_forward张量上将精度提升2位，m是在一半的attention和feed_forward张量上将精度提升2位。
根据自己的需求选择模型，凯哥这里直接选了q8。
凯哥选择的q8
四、部署Qwen2模型
下载完模型文件后，您可以使用Ollama来部署Qwen2模型。
1. 创建模型文件：在Windows上创建一个新文件夹（例如命名为“qwen”），将下载的.gguf文件放入该文件夹中。然后，在该文件夹内创建一个名为“Modelfile”的文本文件，内容填写为：
FROM ./qwen2-7b-instruct-q8_0.gguf
注意替换文件名以匹配您下载的模型文件。
2. 使用Ollama创建模型：打开命令行工具（如CMD或PowerShell），切换到包含Modelfile的文件夹。运行以下命令来创建Qwen2模型：
模型创建成功
如果显示“success”，则表示模型创建成功。
3. 运行模型：创建成功后，您可以通过以下命令来运行模型：
ollama run Qwen2-7B
此时，您应该能看到一个对话框或命令行界面，您可以在这里输入文本与模型进行交互。
命令行输入文案地方
在这里输入：你是谁？看看模型怎么交互的。
可以看到模型交互如下：
模型交互效果
补充说明：
如果要看本地有哪些大模型：ollama list
如果要删除这个模型的话：ollama rm xxx
如果要看运行了哪些大模型：ollama ps
运行结果：
运行效果
五、在Web界面中运行Qwen2
虽然直接在命令行中运行模型很方便，但为了获得更好的用户体验，您可以将Qwen2模型集成到Web界面中。
1. 安装Node.js：
首先，需要在Windows上安装Node.js。访问Node.js官网，下载并安装最新版本的Node.js。
凯哥使用的是版本号是18.6
凯哥本地node版本
2. 下载ollama-webui：
从GitHub或其他源下载ollama-webui的代码。
https://github.com/ollama-webui/ollama-webui-lite
3. 设置并启动Web界面：
按照ollama-webui的文档说明，设置Node.js环境，安装依赖，并启动Web服务器。然后，在浏览器中打开Web页面，选择您的Qwen2模型即可开始对话。
3.1镜像提速：
入ollama-webui文件夹，设置国内镜像源提速：
npm config set registry http://mirrors.cloud.tencent.com/npm/
3.2 安装依赖
npm install
错误解决办法：
如果报错说要audit，则依次进行即可：
npm auditnpm audit fix
启动
3.3 启动Web界面：
命令执行完成就可以用看到如下图的访问地址：
启动成功输出访问地址
打开Web页面，选择你的模型即可开始对话：
访问页面
通过web和模型进行交互：
我们依然输入：你是谁？
在web也没和模型交互效果
好了，至此，你就可以在自己电脑上和模型进行对话了。
大家好：我是凯哥Java(kaigejava)，如果大家感兴趣，可以一起学学AI。
六、总结
通过以上步骤，您可以在Windows操作系统上成功部署阿里开源版通义千问（Qwen2）模型，并通过命令行或Web界面与模型进行交互。Qwen2系列模型凭借其卓越的性能和广泛的应用场景，将为您的AI项目提供强大的支持。
希望本文能帮助您顺利部署阿里开源版通义千问模型，享受AI技术带来的便利与乐趣。如有任何疑问，请随时查阅官方文档或寻求技术支持。
