AI Engineering
从 GPU Kernel 到 Agent 应用，一个后端工程师转向 AI 方向的完整笔记。
这里不做算法研究，只做工程：模型怎么部署得更快、检索怎么做得更准、Agent 怎么跑得更安全、系统怎么证明真的变好了。
内容地图
CUDA 编程 · 自研推理框架
vLLM 推理专题 · 学习资源导航
从零训练一个小 LLM
分词 · 模型结构 · 预训练 · 多卡
Agent 框架 · 编排范式
产品源码拆解 · RAG 检索链路
网关 · 安全 · 可观测性
让 Agent 在生产上跑得住
RAG Agent Platform · Lobster0
mini-ray · EvalHub
阅读笔记
面试复盘
六层之间不是单向的：面试复盘和阅读笔记里发现的知识缺口，会回过头来决定下一步补哪一层。
七个板块
CUDA 编程、自研推理框架、vLLM 推理系统专题（PagedAttention / Prefix Caching / PD 分离），以及按七条主线整理的学习资源导航与开源项目图谱。
从零训练一个小 LLM：分词器、模型结构、预训练主循环、从单卡到多卡，每步都附可跑的代码。
11 个主流 Agent 框架的横向对比专题（LangChain / LangGraph / DeepAgents / Claude Agent SDK / OpenAI Agents SDK / ADK / MAF / LlamaIndex / Qwen-Agent / Spring AI / Eino），以及 Agent Loop、工具调用、上下文管理、RAG 检索链路的高频面试题梳理。
让 Agent 在生产上跑得住的那一层：Agent 网关（路由容错、多租户配额、MCP 代理、缓存、Token 速率保障、国内外托管产品对比）、Agent 安全（威胁模型、MCP 授权演进、工具投毒、供应链复盘）、Agent 可观测性（Trace 结构、两套语义约定、成本归因）、Agent 持久化执行（Checkpointer、确定性重放、故障恢复）。
四个自研项目的架构决策与设计取舍：多租户 RAG 平台、自托管个人 Agent、单机版 Ray 运行时、LLM 评测平台。
论文、官方工程博客与技术方案的精读记录，重点是能落到自己项目里的部分。
AI 中台、搜推、Agent 平台方向的真实面试记录与问题拆解。
三条推荐路径
路径一：想入门 AI Infra
| 步骤 | 读什么 |
|---|---|
| 1 | 总览与学习路线 —— 先看懂「为什么 AI Infra 全是内存问题」 |
| 2 | vLLM 快速入门 —— 把推理引擎跑起来 |
| 3 | PagedAttention —— 理解显存到底怎么管 |
| 4 | 学习资源大全 —— 按主线挑一条深入 |
路径二：准备 AI 方向面试
| 步骤 | 读什么 |
|---|---|
| 1 | Agent 面试题汇总 · RAG 面试题汇总 |
| 2 | vLLM 专题 02/03/05/06 —— PagedAttention、Prefix Caching、Chunked Prefill、PD 分离是高频考点 |
| 3 | 项目沉淀 —— 项目怎么讲清楚架构决策 |
| 4 | 面试复盘 —— 真实问题长什么样 |
路径三：要动手做项目
| 步骤 | 读什么 |
|---|---|
| 1 | 项目索引 —— 看四个项目分别踩了什么坑 |
| 2 | 硬核开源项目图谱 —— 挑一个仓库读源码 |
| 3 | 客服 AI Agent 全链路技术方案 —— 完整方案长什么样 |
关于内容来源
- 原创：项目沉淀、面试复盘、阅读笔记，以及各索引页的路线梳理。
- 转载：vLLM 推理系统专题 与 学习资源大全 全文转载自 AI Infra 学习笔记（作者程治玮 / cr7258，MIT License），每篇文首均标注原文链接与许可证。
站内支持全文搜索（右上角 ⌘ K）。技术栈、中间件、系统设计等非 AI 内容在 Docs 栏目下。