LLMs-Zero-to-Hero
一个从零手写MOE大模型的教程系列,涵盖基础版MOE、SparseMoE和DeepSeek的ShareExpertMOE,适合大模型算法从业者、求职者和爱好者。
LLMs-Zero-to-Hero是一个详细讲解如何从零开始手写MOE(Mixture of Experts)大模型的教程系列。该系列包含三个主要部分:基础版MOE帮助理解基本原理,大模型训练用的SparseMoE展示实际应用,以及DeepSeek使用的shared_expert SparseMoE展示模型进化。教程通过视频(B站和YouTube)和文章形式提供,配套GitHub代码库和课后作业。该内容已获得广泛传播和认可,累计自然播放量约20万次,适合不同层次的AI和大模型学习者。