安装环境

1. 创建conda环境

conda create -n accelerate python=3.10
conda activate accelerate

2. 根据当前系统的cuda版本安装对应的torch、torchvision和torchaudio

3. 根据当前环境的torch和torchvision安装accelerate和deepspeed

4. 安装其他包

pip install -r requirements.txt

修改模型

1. 一般情况只修改 model文件夹的文件

运行

1. 如果在4090或者4070ti上运行 bash run_file/DynamicKV-LLM_Mini_Minimind.sh
2. 如果在4张A800上运行 bash run_file/DynamicKV-LLM_Small_Minimind.sh