LLMs-Zero-to-Hero
Weekly Pick
一个从零开始手写大模型的教程，涵盖数据处理到模型训练全过程，帮助用户在一小时内掌握模型预训练过程及算法原理。
LLMs-Zero-to-Hero 是一个详细的教学项目，完全从零开始手写大模型，包括数据处理细节、模型训练过程以及如何改进成更现代的模型。项目还涵盖了面试知识点、Generate 函数的实现、register buffer 的写法和作用，以及 linear tie weight 等细节。该项目在 Bilibili 和 YouTube 上累计播放量超过 7 万次。