SemanticKernel/C#：使用Ollama中的对话模型与嵌入模型用于本地离线场景
前言
上一篇文章介绍了使用SemanticKernel/C#的RAG简易实践，在上篇文章中我使用的是兼容OpenAI格式的在线API，但实际上会有很多本地离线的场景。今天跟大家介绍一下在SemanticKernel/C#中如何使用Ollama中的对话模型与嵌入模型用于本地离线场景。
开始实践
本文使用的对话模型是gemma2:2b，嵌入模型是all-minilm:latest，可以先在Ollama中下载好。
2024年2月8号，Ollama中的兼容了OpenAI Chat Completions API，具体见https://ollama.com/blog/openai-compatibility。
因此在SemanticKernel/C#中使用Ollama中的对话模型就比较简单了。
var kernel = Kernel.CreateBuilder()
.AddOpenAIChatCompletion(modelId: "gemma2:2b", apiKey: null, endpoint: new Uri("http://localhost:11434")).Build();
这样构建kernel即可。
简单尝试一下效果：
public async Task<string> Praise()
{
var skPrompt = """
你是一个夸人的专家，回复一句话夸人。
你的回复应该是一句话，不要太长，也不要太短。
""";
var result = await _kernel.InvokePromptAsync(skPrompt);
var str = result.ToString();
return str;
}
就这样设置就成功在SemanticKernel中使用Ollama的对话模型了。
现在来看看嵌入模型，由于Ollama并没有兼容OpenAI的格式，所以直接用是不行的。
Ollama的格式是这样的：
OpenAI的请求格式是这样的：
curl https://api.openai.com/v1/embeddings \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"input": "Your text string goes here",
"model": "text-embedding-3-small"
}'
OpenAI的返回格式是这样的：
{
"object": "list",
"data": [
{
"object": "embedding",
"index": 0,
"embedding": [
-0.006929283495992422,
-0.005336422007530928,
... (omitted for spacing)
-4.547132266452536e-05,
-0.024047505110502243
],
}
],
"model": "text-embedding-3-small",
"usage": {
"prompt_tokens": 5,
"total_tokens": 5
}
}
因此通过请求转发的方式是不行的。
之前也有人在ollama的issue提了这个问题：
似乎也有准备实现嵌入接口的兼容：
目前试了一下还没有兼容。
在SemanticKernel中需要自己实现一些接口来使用Ollama的嵌入模型，但是经过搜索，我发现已经有大佬做了这个事，github地址：https://github.com/BLaZeKiLL/Codeblaze.SemanticKernel。
大佬实现了ChatCompletion、EmbeddingGeneration与TextGenerationService，如果你只使用到EmbeddingGeneration可以看大佬的代码，在项目里自己添加一些类，来减少项目中的包。
这里为了方便，直接安装大佬的包：
构建ISemanticTextMemory：
public async Task<ISemanticTextMemory> GetTextMemory3()
{
var builder = new MemoryBuilder();
var embeddingEndpoint = "http://localhost:11434";
var cancellationTokenSource = new System.Threading.CancellationTokenSource();
var cancellationToken = cancellationTokenSource.Token;
builder.WithHttpClient(new HttpClient());
builder.WithOllamaTextEmbeddingGeneration("all-minilm:latest", embeddingEndpoint);
IMemoryStore memoryStore = await SqliteMemoryStore.ConnectAsync("memstore.db");
builder.WithMemoryStore(memoryStore);
var textMemory = builder.Build();
return textMemory;
}
现在开始试试效果，基于昨天的分享做改进，今天上传一个txt文档。
一个私有文档如下所示，隐私信息已替换：
各位同学：
你好，为了帮助大家平安、顺利地度过美好的大学时光，学校专门引进“互联网+”高校安全教育服务平台，可通过手机端随时随地学习安全知识的网络微课程。大学生活多姿多彩，牢固掌握安全知识，全面提升安全技能和素质。请同学们务必在规定的学习时间完成该课程的学习与考试。
请按如下方式自主完成学习和考试：
1、手机端学习平台入口：请关注微信公众号“XX大学”或扫描下方二维码，进入后点击公众号菜单栏【学术导航】→【XX微课】，输入账号（学号）、密码（学号），点【登录】后即可绑定信息，进入学习平台。
2、网页端学习平台入口：打开浏览器，登录www.xxx.cn，成功进入平台后，即可进行安全知识的学习。
3、平台开放时间：2024年4月1日—2024年4月30日，必须完成所有的课程学习后才能进行考试，试题共计50道，满分为100分，80分合格，有3次考试机会，最终成绩取最优分值。
4、答疑qq群号：123123123。
学习平台登录流程
1. 手机端学习平台入口：
请扫描下方二维码，关注微信公众号“XX大学”；
公众号菜单栏【学术导航】→【XX微课】，选择学校名称，输入账号（学号）、密码（学号），点【登录】后即可绑定信息，进入学习平台；
遇到问题请点【在线课服】或【常见问题】，进行咨询（咨询时间：周一至周日8:30-17:00）。
2. 网页端学习平台入口：
打开浏览器，登录www.xxx.cn，成功进入平台后，即可进行安全知识的学习。
3. 安全微课学习、考试
1) 微课学习
点击首页【学习任务中】的【2024年春季安全教育】，进入课程学习；
展开微课列表，点击微课便可开始学习；
大部分微课是点击继续学习，个别微课是向上或向左滑动学习；
微课学习完成后会有“恭喜，您已完成本微课的学习”的提示，需点击【确定】，再点击【返回课程列表】，方可记录微课完成状态；
2) 结课考试
完成该项目的所有微课学习后，点击【考试安排】→【参加考试】即可参加结课考试。
上传文档：
切割为三段：
存入数据：
回一个问题，比如“答疑qq群号是多少？”：
虽然耗时有点久，大概几十秒，但是回答对了：
再尝试回答一个问题：
回答效果不是很好，而且由于配置不行，本地跑也很慢，如果有条件可以换一个模型，如果没有条件并且不是一定要离线运行的话，可以接一个免费的api，在结合本地的嵌入模型。
换成在线api的Qwen/Qwen2-7B-Instruct，效果还不错：
总结
本次实践的主要收获是如何在SemanticKernel中使用Ollama中的对话模型与嵌入模型用于本地离线场景。在实践RAG的过程中，发现影响效果的最主要在两个地方。
第一个地方是切片大小的确定：
var lines = TextChunker.SplitPlainTextLines(input, 20);
var paragraphs = TextChunker.SplitPlainTextParagraphs(lines, 100);
第二个地方是要获取几条相关数据与相关度的设定：
var memoryResults = textMemory.SearchAsync(index, input, limit: 3, minRelevanceScore: 0.3);
相关度太高一条数据也找不到，太低又容易找到不相关的数据，需要通过实践，调整成一个能满足需求的设置。
参考
