minimind最小开源大模型，可以自己训练自己的大模型

* 本开源项目旨在完全从0开始，最快仅用3小时！即可训练出仅为26M大小的微型语言模型**MiniMind**。 * **MiniMind**极其轻量，体积约是 GPT3 的 $\frac{1}{7000}$，力求做到最普通的个人GPU也可快速推理甚至训练。 * **MiniMind**改进自DeepSeek-V2、Llama3结构，项目包含整个数据处理、pretrain、sft、dpo的全部阶段，包含混合专家(MoE)模型。 * 这是一个既是开源项目，又是入门LLM教程，同时也是一个初具雏形的开源模型，希望能起到抛砖引玉的作用。 --- # 📌 Introduction 大语言模型（LLM）领域，如 GPT、LLaMA、GLM 等，虽然它们效果惊艳， 但动辄10 Bilion庞大的模型参数个人设备显存远不够训练，甚至推理困难。 几乎所有人都不会只满足于用Lora等方案fine-tuing大模型学会一些新的指令， 这约等于在教牛顿玩21世纪的智能手机，然而，这远远脱离了学习物理本身的奥妙。 此外，卖课付费订阅的营销号漏洞百出的一知半解讲解AI的教程遍地， 让理解LLM的优质内容雪上加霜，严重阻碍了学习者。 因此，本项目的目标是把上手LLM的门槛无限降低， 直接从0开始训练一个极其轻量的语言模型。 > [!TIP] > （截至2024-9-17）minimind训练了3个型号模型，最小仅需26M（0.02B），即可具备流畅的对话能力！ | 模型 (大小) | tokenizer长度 | 推理占用 | release | 主观评分（/100） | |-------------------------|-------------|--------|------------|------------| | minimind-v1-small (26M) | 6400 | 0.5 GB | 2024.08.28 | 50' | | minimind-v1-moe (4×26M) | 6400 | 1.0 GB | 2024.09.17 | 55' | | minimind-v1 (108M) | 6400 | 1.0 GB | 2024.09.01 | 60' | > 该分析在一个带有Torch 2.1.2、CUDA 12.2和Flash Attention 2的RTX 3090 GPU上运行。 项目包含： - 公开MiniMind模型代码（包含Dense和MoE模型）、Pretrain、SFT指令微调、LoRA微调、DPO偏好优化的全过程代码、数据集和来源。 - 兼容`transformers`、`accelerate`、`trl`、`peft`等流行框架。 - 训练支持单机单卡、单机多卡(DDP、DeepSpeed)训练。训练过程中支持在任意位置停止，及在任意位置继续训练。 - 在Ceval数据集上进行模型测试的代码。 - 实现Openai-Api基本的chat接口，便于集成到第三方ChatUI使用（FastGPT、Open-WebUI等）。 希望此开源项目可以帮助LLM初学者快速入门！ ### 👉**最近更新**

2024-09-17 (new🎉)

- 更新minimind-v1-moe模型 - 为了防止歧义，不再使用mistral_tokenizer分词，全部采用自定义的minimind_tokenizer作为分词器。

2024-09-01

- 更新minimind-v1 (108M)模型，采用minimind_tokenizer，预训练轮次3 + SFT轮次10，更充分训练，性能更强。 - 项目已部署至ModelScope创空间，可以在此网站上体验： - [ModelScope在线体验](https://www.modelscope.cn/studios/gongjy/minimind)

2024-08-27

- 项目首次开源

# 📌 Environment 仅是我个人的软硬件环境配置，自行酌情更改： * Ubuntu == 20.04 * Python == 3.9 * Pytorch == 2.1.2 * CUDA == 12.2 * [requirements.txt](./requirements.txt) # 📌 Quick Inference & Test ```bash # step 1 git clone https://huggingface.co/jingyaogong/minimind-v1 ``` ```bash # step 2 python 2-eval.py ``` 或者启动streamlit，启动网页聊天界面 ```bash # or step 3, use streamlit streamlit run fast_inference.py ```  # 📌 Quick Start * 0、环境安装 ```bash pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple ``` * 1、克隆项目代码 ```text git clone https://github.com/jingyaogong/minimind.git ``` * 2、如果你需要自己训练 * 2.1 下载[数据集下载地址](#数据集下载地址)放到`./dataset`目录下 * 2.2 `python data_process.py`处理数据集，例如pretrain数据提前进行token-encoder、sft数据集抽离qa到csv文件 * 2.3 在`./model/LMConfig.py` 中调整model的参数配置 * 2.4 `python 1-pretrain.py` 执行预训练 * 2.5 `python 3-full_sft.py` 执行指令微调 * 2.6 `python 4-lora_sft.py` 执行lora微调（非必须） * 2.7 `python 5-dpo_train.py` 执行DPO人类偏好强化学习对齐（非必须） * 3、测试模型推理效果 * 确保需要使用的，训练完成的参数权重位于`./out/`目录下 * 也可以直接去[训练完成的模型权重](#训练完成的模型权重)下载使用我训练好的 ```text out ├── multi_chat │   ├── full_sft_512.pth │   ├── full_sft_512_moe.pth │   └── full_sft_768.pth ├── single_chat │   ├── full_sft_512.pth │   ├── full_sft_512_moe.pth │   └── full_sft_768.pth ├── pretrain_768.pth ├── pretrain_512_moe.pth ├── pretrain_512.pth ``` * `python 0-eval_pretrain.py`测试预训练模型的接龙效果 * `python 2-eval.py`测试模型的对话效果  🍭 【Tip】预训练和全参微调pretrain和full_sft均支持多卡加速 * 单机N卡启动训练(DDP) ```bash torchrun --nproc_per_node N 1-pretrain.py # and torchrun --nproc_per_node N 3-full_sft.py ``` * 单机N卡启动训练(DeepSpeed) ```bash deepspeed --master_port 29500 --num_gpus=N 1-pretrain.py # and deepspeed --master_port 29500 --num_gpus=N 3-full_sft.py ``` # 📌 Data sources - 🤖 分词器：nlp中的Tokenizer类似于词典，将单词从自然语言通过“词典”映射到0,1,36这样的数字，可以理解为数字就代表了单词在“词典�