import uvicorn
from fastapi import FastAPI,Body
from fastapi.responses import JSONResponse
from typing import Dict
app = FastAPI()

from modelscope import AutoTokenizer, AutoModel, snapshot_download

model_dir = snapshot_download('ZhipuAI/chatglm3-6b', cache_dir='D:\Transformers')
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).half().cpu()  # 权重和计算从 32 位浮点数转换为16位

@app.post("/chat")
def chat(data: Dict):
    query = data['query']
    history = data['history']
    if history== "":
        history = []
    response, history = model.chat(tokenizer, query, history=history, top_p=0.95, temperature=0.95)
    response = {'response':response,'history':history}
    return JSONResponse(content=response)

if __name__ == '__main__':
    uvicorn.run(app, host="127.0.0.1", port=7866)

服务端有了，当然要做个漂亮的客户端，总不能一直用postman。不得不吐槽下，大模型也搞前后端分离这套🤮！.net java 有httprequest，js有jquery、axios，大模型也有个出名的库langchain，官方的解释它提供了“链”的概念，允许开发者将多个语言模型调用、API请求、数据处理等操作链接起来，以创建更复杂的应用流程。这里你就当它是个用来封装http请求的客户端吧！还是按图2的方式先安装：

pip install langchain
pip install langchain-community

 在工程里面新建一个文件client.py。编写客户端代码：

 import requests
import logging
from typing import Optional, List, Dict, Mapping, Any
import langchain
from langchain.llms.base import LLM
from langchain.cache import InMemoryCache

logging.basicConfig(level=logging.INFO)
langchain.llm_cache = InMemoryCache()


class ChatLLM(LLM):
    url = "http://127.0.0.1:7866/chat"
    history = [];

    @property
    def _llm_type(self) -> str:
        return "chatglm"

    def _construct_query(self, prompt: str) -> Dict:
        query = {
            "history": self.history,
            "query": prompt
        }
        import json
        query = json.dumps(query)
        return query

    @classmethod
    def _post(self, url: str, query: Dict) -> Any:
        response = requests.post(url, data=query).json()
        return response

    def _call(self, prompt: str, stop: Optional[List[str]] = None) -> str:
        query = self._construct_query(prompt=prompt)
        response = self._post(url=self.url, query=query)
        response_chat = response['response']
        self.history = response['history']
        return response_chat

    @property
    def _identifying_params(self) -> Mapping[str, Any]:
        _param_dict = {
            "url": self.url
        }
        return _param_dict


if __name__ == "__main__":
    llm = ChatLLM()
    while True:
        user_input   = input("我: ")
        response = llm(user_input)
        print(f"ChatGLM: {response}")

 

执行一下，和它说个‘你好’，再问下它是谁，效果如下（再次友情提示：视频剪辑过，肯定没有这么快😀！！！）：

 

（图7）

等等，这好像还是算不上客户端！怎么着也得个应用程序APP之类，再不济也得有个Web吧！好吧，安排！为了搞大模型的人能安心研究模型，不用花精力在界面上。市场上就出现了2个常用的大模型web界面框架Gradio和Streamlit，不用去研究哪个更好，顺手就行！类似ElementUI、AntDesign没必要非争个你死我活的！我这里以Gradio为例，先安装：

pip install gradio

#如果安装gradio后ImportError: DLL load failed while importing _multiarray_umath: 找不到指定的模块。执行下面：
 pip install numpy==1.25.2

 在工程里面新建一个文件webclient.py。编写网页代码：

import gradio as gr
from client import ChatLLM #引用client.py里面我们定义的ChatLLM

llm = ChatLLM()
# 流式处理
def stream_translate(text):
    response = llm(text)
    for chunk in response.split():
        yield chunk + " "


demo = gr.Interface(fn=stream_translate, inputs="text", outputs="text", title="ChatGLM",
                    description="A chatbot powered by ChatGLM.")
demo.launch()

执行一下：

（图8）

在浏览器里面打开：http://127.0.0.1:7860 就可以看到我们的客户端。这时随便问大模型几个问题吧（再次友情提示：视频剪辑过，后面那个问题1500多秒！）：

（图9）

到这里，入门流程介绍完毕。看的人多的话，我会继续介绍模型微调和训练，希望大家喜欢！