update readme's error
This commit is contained in:
parent
63ade83fb2
commit
1752b85535
@ -19,8 +19,8 @@
|
||||
|
||||
</div>
|
||||
|
||||
* 本开源项目旨在完全从0开始,训练出仅为26M大小的微型语言模型**MiniMind**。
|
||||
* **MiniMind**极其轻量,体积约是 GPT3 的 $\frac{1}{7000}$,力求做到CPU也可快速推理甚至训练。
|
||||
* 本开源项目旨在完全从0开始,最快仅用3小时!即可训练出仅为26M大小的微型语言模型**MiniMind**。
|
||||
* **MiniMind**极其轻量,体积约是 GPT3 的 $\frac{1}{7000}$,力求做到最普通的个人GPU也可快速推理甚至训练。
|
||||
* **MiniMind**改进自DeepSeek-V2、Llama3结构,项目包含整个数据处理、pretrain、sft、dpo的全部阶段,包含混合专家(MoE)模型。
|
||||
* 这是一个既是开源项目,又是入门LLM教程,同时也是一个初具雏形的开源模型,希望能起到抛砖引玉的作用。
|
||||
|
||||
|
Loading…
x
Reference in New Issue
Block a user