Tiny-LLM

文档摘要

Tiny-LLM 此项目在于实现一个简单的大语言模型，从训练tokenizer开始，到训练模型，再到使用模型生成文本。仅使用Numpy和Pytorch即可实现一个简单的大语言模型训练，显存使用2G左右。以下为项目效果展示。训练模型所需要的资源也是很少的，仅需要一个显卡即可，显存使用2G左右。训练模型的时间也不长，仅需要几个小时即可完成。 Usage 要使用本仓库也很容易，首先需要自行安装cuda版本的Pytorch，然后安装依赖库。然后按照以下步骤进行训练。