bojieli/ai-infra-book
《深入理解 AI Infra:量化分析与系统设计》(李博杰 著)开源书稿:从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验
Python · ★ 7,877 · Fork 635 · 在 GitHub 查看
在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→
GitHub Trending 上榜记录
bojieli/ai-infra-book 已在 GitHub Trending 每日榜单上榜 2 天,最高排名第 26,首次上榜 2026-11-15,最近一次上榜 2026-11-16。
| 日期 | 排名 | Star | 当日增长 |
|---|---|---|---|
| 2026-11-16 | #26 | 7,877 | +127 |
| 2026-11-15 | #26 | 7,819 | +151 |
同期上榜的项目
- ag-ui-protocol/ag-ui – AG-UI: the Agent-User Interaction Protocol. Bring Agents into Frontend Applications.
- backnotprop/plannotator – The workspace to stay in the loop and on top of agents - shape, decide, plan, annotate, review code, share with team, and send all feedback to agents with one click.
- dream-num/univer – Build your own AI office with Univer Office SDK. Bring editing, calculation, collaboration, and file processing into your product for people and AI agents. Built on an extensible open-source core.
- tradermonty/claude-trading-skills – Claude Code skills for equity investors and traders — market analysis, technical charting, economic calendars, screeners, and trading strategy development.
- elementalsouls/Claude-BugHunter – A Claude Code skill bundle for bug hunting and external red-team work - 82 skills, 15 slash commands, 681 disclosed-report patterns curated across 24 core vulnerability classes, plus enterprise identity + infrastructure attack matrices.
- getarcaneapp/arcane – Modern Docker Management, Designed for Everyone
ai-infra-book 项目深度剖析与商业评估报告
ai-infra-book 项目深度剖析与商业评估报告
1. 核心定位与商业落地价值
根本痛点 大模型基础设施(AI Infra)领域长期处于“经验主义”主导的混沌期。万卡集群的实际算力利用率(MFU)普遍徘徊在 30%~50%,推理集群在面对长上下文与爆发式并发时资源浪费严重。这一现象的本质根源在于:系统架构设计与底层物理约束脱节。从业者往往沉溺于顶层框架(如 Megatron-LM、vLLM、SGLang)的配置调优,却缺乏从物理第一性原理(算力、内存墙、互联带宽与拓扑结构)推导系统上限的方法论。
ai-infra-book(《深入理解 AI Infra:量化分析与系统设计》)由资深计算机体系结构学者与工业界一线专家李博杰主导,其核心定位是成为 LLM 时代的《计算机体系结构:量化研究方法》(Hennessy & Patterson)。该项目通过建立一套严密的代数与物理约束分析框架,将 AI 系统的优化命题归结为核心线索——数据搬移(搬什么、搬多少、搬几次、经过哪里、谁必须等它),旨在打破“调参玄学”,通过定量计算定义系统性能与成本的理论极限。
商业落地场景 1. 千卡/万卡算力集群规划与 CapEx/OpEx 决策:在采购加速卡(如 NVIDIA H100/B200、昇腾 910 系列等)及组网设备(InfiniBand vs. RoCE)时,企业可通过本书的量化模型,在不采购实体硬件的前提下,精确推演特定模型规模下的网络收敛比、节点内/跨节点通信带宽边界与机柜功耗要求,降低数亿元的试错成本。 2. 企业级推理平台容量规划与动态降本(TCO 优化):为大模型 Gateway 与 Serving 系统提供底层分析基座。通过量化 TTFT(首字延迟)、TPOT(每字延迟)、KV Cache 内存增长曲线与算子访存边界,评估 Prefill/Decode 分离(PD 分离)、推测解码(Speculative Decoding)及 MLA(Multi-head Latent Attention)在生产环境下的实际收益边界。 3. 软硬件协同设计(Co-design)选型与评估:芯片初创公司或云厂商定制芯片(ASIC)架构团队,可使用本书推导框架量化分析 SRAM 容量、HBM 带宽、Scale-up/Scale-out 互联接口配置与主流模型架构的匹配度。
竞品差异化与护城河 相较于网络上分散的博客(如 Hugging Face、SemiAnalysis 的零散技术解读)以及特定框架的官方文档(如 vLLM 或 DeepSpeed 文档),该项目的核心护城河包括: 第一性原理闭环:不局限于某一个特定软件版本,而是建立起统一的“模型拓扑 - 硬件算力 - 显存带宽 - 互联拓扑”多层 Roofline 量化模型。 零依赖可复现计算工具链:配套的 calc.py 纯基于 Python 3.10+ 标准库实现,将公式沉淀为确定性的算法工具,可以直接输出逐算子的 FLOPs 与带宽开销。 一线大规模生产工程实践经验背书:作者将 Bing FPGA 加速、昇腾 AKG 算子编译器及大规模万卡集群互联的实战沉淀转化为推导方法,具备强烈的工业落地属性。
---
2. 核心架构设计与技术深度
在 README 中展示上榜徽章
[](https://github.fq6825.top/repo/bojieli/ai-infra-book)