rasbt/LLMs-from-scratch
Implement a ChatGPT-like LLM in PyTorch from scratch, step by step
Jupyter Notebook · ★ 94,703 · Fork 14,499 · 在 GitHub 查看
在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→
GitHub Trending 上榜记录
rasbt/LLMs-from-scratch 已在 GitHub Trending 每日榜单上榜 4 天,最高排名第 8,首次上榜 2026-05-11,最近一次上榜 2026-05-14。
| 日期 | 排名 | Star | 当日增长 |
|---|---|---|---|
| 2026-05-14 | #15 | 94,703 | +821 |
| 2026-05-13 | #8 | 94,407 | +824 |
| 2026-05-12 | #8 | 93,701 | +776 |
| 2026-05-11 | #11 | 92,930 | +408 |
同期上榜的项目
- ruvnet/RuView – π RuView turns commodity WiFi signals into real-time spatial intelligence, vital sign monitoring, and presence detection — all without a single pixel of video.
- tinyhumansai/openhuman – Your Personal AI super intelligence. A brain that builds a local-first memory of your life, a fantastic orchestrator of agent fleets and workflows, and a deep researcher.
- rohitg00/agentmemory – #1 Persistent memory for AI coding agents based on real-world benchmarks
- obra/superpowers – An agentic skills framework & software development methodology that works.
- K-Dense-AI/scientific-agent-skills – Turn any AI agent into an AI Scientist. The #1 Agent Skills library for science, used by 250,000+ scientists worldwide. 177 ready-to-use validated skills plus 100+ scientific databases covering biology, chemistry, medicine, and drug discovery. Compatible with Cursor, Claude Code, Codex, Pi, Antigravity, and the open Agent Skills standard.
- shiyu-coder/Kronos – Kronos: A Foundation Model for the Language of Financial Markets
rasbt/LLMs-from-scratch 项目深度剖析与商业评估报告
rasbt/LLMs-from-scratch 项目深度剖析与商业评估报告
1. 核心定位与商业落地价值
1.1 根本痛点解决 该项目精准切入AI领域最核心的“黑盒焦虑”——工程师和研究者对LLM内部机制缺乏系统性理解。不同于Hugging Face Transformers等库的“开箱即用”哲学,该项目强制用户从tokenizer、attention机制、位置编码、训练循环等最底层组件逐行实现,彻底消除“调参侠”现象。
1.2 商业落地场景 企业内训与人才梯队建设:金融机构、医疗、法律等对模型可解释性要求极高的行业,可用此项目作为内部AI团队的标准化培训教材,确保团队成员对Transformer架构有底层共识。 定制化模型研发加速:初创公司或研究机构在构建垂直领域LLM时,可直接fork此仓库作为脚手架。例如,在金融合规场景中,基于其从零开始的代码库修改attention机制(如加入稀疏注意力)比修改成熟框架更可控。 技术面试与评估工具:人力资源技术部门可将其作为评估候选人对深度学习理解深度的基准题库——能解释清楚该项目中nn.MultiheadAttention手动实现细节的候选人,通常具备扎实的工程功底。
1.3 竞品差异化与护城河 结构化教学性:与karpathy/nanoGPT(更偏向高效训练)和AndrejKarpathy/llm.c(C语言实现)不同,本项目附带同名书籍,形成“代码+理论+图表”的立体学习体系。每个chapter对应书籍章节,代码注释详尽,适合系统性学习而非快速原型。 生态扩展性:已衍生出rasbt/reasoning-from-scratch(推理模型实现)和rasbt/LLM-course(课程材料),形成从LLM基础到推理增强的完整知识图谱,这种“作品集”效应是其他单一仓库无法复制的。 作者信誉背书:Sebastian Raschka是PyTorch核心贡献者及《Python Machine Learning》作者,其技术权威性直接转化为用户信任,这是纯开源项目难以模仿的护城河。
2. 核心架构设计与技术深度
2.1 模块拆解思想 项目采用渐进式抽象的架构哲学,而非传统的分层抽象。每个chapter构建一个可独立运行但又耦合紧密的组件:
Ch2: 数据管道:实现BPE tokenizer(从字符级统计到子词合并),注意力掩码生成,以及PyTorch DataLoader的定制化批次采样。关键设计:使用torch.utils.data.Dataset封装文本序列化,支持动态批次填充。 Ch3: 注意力机制:从单头注意力到多头注意力(MHA),包含因果掩码(causal mask)和dropout实现。核心创新点在于展示了如何通过torch.bmm实现高效批量矩阵乘法,而非简单循环。 Ch4: GPT模型组装:将Embedding层、Transformer Block(含LayerNorm、残差连接)、输出投影层组合成GPTModel类。关键设计模式:使用nn.ModuleList管理可扩展的block列表,而非固定层数。 Ch5-7: 训练与微调:分离预训练(自回归语言建模)、分类微调(添加线性分类头)、指令微调(使用LoRA等技术)。这种“三阶段”架构映射了实际生产流程,但做了教学简化。
在 README 中展示上榜徽章
[](https://github.fq6825.top/repo/rasbt/LLMs-from-scratch)