Star 历史趋势
数据来源: GitHub API · 生成自 Stargazers.cn
README.md

🎯 CS336 面试导向学习指南

Stanford CS336: Language Modeling from Scratch — 面向小白的面试导向完整学习项目

本项目基于斯坦福大学 CS336 课程(Language Modeling from Scratch),专为准备 AI/大模型岗位面试的同学打造。从零开始,手把手带你理解、实现并掌握大语言模型的全链路知识。


📚 项目结构

learn-cs336/
├── docs/           # 20节课程文档(面试导向)
├── interview/      # 面试专区(八股文、STAR面试稿、简历模板)
├── comics/         # 哆啦A梦风格漫画插图
├── code/           # 核心代码实现
├── assets/         # 静态资源
└── output/         # PDF/HTML输出

🗺️ 学习路线图

第一部分:基础篇(对应 Assignment 1)

课程主题核心面试考点
Lesson 01环境搭建与项目总览PyTorch基础、张量操作
Lesson 02BPE分词器原理与实现BPE训练/推理流程、字节级BPE
Lesson 03Transformer架构详解Encoder/Decoder/Decoder-only对比
Lesson 04多头注意力与RoPESelf-Attention计算、位置编码对比
Lesson 05RMSNorm/SwiGLU/GQA现代LLM"四件套"详解
Lesson 06AdamW优化器实现优化器原理、学习率调度
Lesson 07训练循环与损失函数交叉熵、Top-p采样、困惑度
Lesson 08Assignment 1 实战完整代码走读与调试

第二部分:系统篇(对应 Assignment 2)

课程主题核心面试考点
Lesson 09GPU架构与内存层级SRAM/HBM/DRAM层级、算力瓶颈
Lesson 10FlashAttention与Triton分块计算、IO感知算法
Lesson 11DDP分布式训练AllReduce、梯度同步、通信开销
Lesson 12Assignment 2 实战性能分析与优化

第三部分:缩放与数据篇(对应 Assignment 3-4)

课程主题核心面试考点
Lesson 13Scaling Laws缩放定律幂律关系、Chinchilla配比
Lesson 14数据工程Common Crawl处理流程
Lesson 15数据过滤与去重MinHash、质量过滤策略
Lesson 16Assignment 3-4 实战缩放实验与数据管道

第四部分:对齐与部署篇(对应 Assignment 5)

课程主题核心面试考点
Lesson 17SFT有监督微调指令数据构建、灾难性遗忘
Lesson 18RLHF/DPO/GRPO对齐技术奖励模型、偏好优化
Lesson 19Assignment 5 实战数学推理RL训练
Lesson 20推理优化与模型部署KV Cache、量化、vLLM

🎤 面试专区

文档内容
面试八股文大全100+道面试题与详细答案
岗位需求分析2026年AI大模型岗位JD分析
项目简历模板CS336项目简历STAR写法(3种版本)
STAR面试稿10个核心STAR回答脚本
面试问题全集所有可能问题+STAR回答
面经汇总牛客/小红书真实面经整理

🎨 漫画图解

每2节课配1张哆啦A梦风格漫画,用生动的比喻帮助理解复杂概念:

漫画主题比喻
语言模型大雄写作文,哆啦A梦掏出道具
BPE分词器把文字切成小块拼图
Transformer大雄上课走神vs认真听讲
.........

💻 核心代码


📖 参考资源


📄 多格式下载


License

本项目仅供学习参考,课程内容版权归Stanford CS336课程组所有。

关于 About

CS336 面试导向学习指南 - Stanford Language Modeling from Scratch

语言 Languages

HTML95.3%
Python4.7%

提交活跃度 Commit Activity

代码提交热力图
过去 52 周的开发活跃度
1
Total Commits
峰值: 1次/周
Less
More

核心贡献者 Contributors