从0.5到1：如何在AI时代快速搭建自己的LLM理解

第一章

快速塑形：从机器学习到大模型

很多人觉得机器学习到大模型之间的东西又多又杂，但其实它们之间有一条非常清晰的进化逻辑 — 每一个新东西的出现，都是为了补上一个东西的短板。理解这条因果链，后面再出现什么新架构，你都能快速定位它在"补谁的短板"。

1.1 最初的起点：线性回归 → 逻辑回归 → 感知机

这三个东西本质上都是"用一条线（或一个面）去拟合数据"，区别只在于你要拟合什么、怎么拟合。它们共同奠定了后续所有模型的两大基石：用参数（$w, b$）去"学习"数据中的规律，以及用损失函数 + 梯度下降来优化参数。

线性回归

→

逻辑回归

→

感知机

→

多层感知机 MLP

线性回归

用最简单的直线预测连续值。想象你是一个房产中介，你的工作经验告诉你：房子面积越大、离地铁越近，价格越高。线性回归做的事情就是把这些经验量化成一个公式。训练的过程就是不断调整 $w$ 和 $b$，让预测值和真实值之间的误差（均方误差 MSE）最小化。这个过程用到的核心算法叫梯度下降 — 你站在山坡上，每次往最陡的方向迈一步，最终走到山谷。

$$y = w_1 \cdot x_1 + w_2 \cdot x_2 + b$$

逻辑回归

线性回归输出的是任意实数，但很多时候我们要的是一个分类决策：这封邮件是不是垃圾邮件？这个肿瘤是良性还是恶性？逻辑回归的做法非常直觉 — 在线性回归的输出外面套一层 Sigmoid 函数，把任何实数"压"到 $(0, 1)$ 之间，输出变成"属于正类的概率"。虽然名字叫"回归"，但它实际上是一个分类模型。

$$\sigma(z) = \frac{1}{1 + e^{-z}}$$

感知机

1957 年 Frank Rosenblatt 提出的感知机，灵感直接来源于生物神经元：接收信号、加权求和、超过阈值就"激活"。学习规则很直觉：预测错了就调，预测对了不动。但 1969 年 Minsky 和 Papert 用数学证明了 — 单层感知机连 XOR 这种简单的非线性问题都解决不了。这个发现直接导致了 AI 的第一次寒冬。

$$f(z) = \begin{cases} 1, & z \geq 0 \\ 0, & z < 0 \end{cases}$$

1.2 多层感知机：破局之道

既然单层感知机搞不定非线性问题，那叠起来呢？答案是可以。多层感知机（MLP）在输入层和输出层之间加入了隐藏层，每一层的输出作为下一层的输入：

$$\text{Layer 1: } \mathbf{h} = \sigma(W_1 \mathbf{x} + b_1) \qquad \text{Layer 2: } \mathbf{y} = \sigma(W_2 \mathbf{h} + b_2)$$

这里的 $\sigma$ 不再是阶跃函数，而是 Sigmoid、Tanh 这类可导的激活函数。为什么一定要可导？因为接下来要请出深度学习的核心武器 — 反向传播算法（Backpropagation）。

反向传播：让"加层"真正可行的关键。MLP 的概念其实很早就有了，但一直没人知道怎么高效地训练多层网络。直到 1986 年，Rumelhart、Hinton 和 Williams 用反向传播算法解决了这个问题。反向传播的本质是链式求导：从输出层的误差出发，一层一层地往回算，每一层都知道自己对最终误差贡献了多少，然后朝着减小误差的方向调整自己的参数。每一层都清楚自己该改什么。

从 MLP 到深度学习的三个里程碑

MLP 虽然解决了非线性问题，但在很长一段时间里仍然被传统机器学习算法（SVM、随机森林等）压制，直到三个关键事件改变了格局：

ReLU 激活函数（2010） — Sigmoid 和 Tanh 在层数多了之后会出现"梯度消失"问题 — 梯度连乘后趋近于零，深层的参数学不动了。ReLU（$f(x) = \max(0, x)$）简洁而优雅地缓解了这个问题，让训练几十上百层的网络成为可能。
GPU 并行计算（2012） — AlexNet 在 ImageNet 比赛中用 GPU 训练深层网络，以碾压性的优势获胜（错误率降低了 10.8%），证明了深度学习的工程可行性。这是深度学习从学术圈走向工业界的标志性事件。
大规模数据集 + 预训练范式（2017 至今） — 从 ImageNet 到 WebText，再到 Common Crawl，数据规模的爆发配合预训练 + 微调的范式，让深度学习从"特定任务"走向了"通用能力"。

从 MLP 到大模型，中间还差一个关键桥梁 — 如何让模型处理"序列"。这就是接下来分词器、编码器、解码器要解决的问题。

1.3 分词器、编码器、解码器

三者关系一句话总结

人类语言

→

分词器
翻译官

→

编码器
阅读理解

→

解码器
作文输出

→

新文本

分词器（Tokenizer）：让模型"认字"的第一步

模型不认识中文、英文，它只认识数字。分词器的工作就是把文本拆成"子词单元"（Token），每个单元对应一个整数 ID。BPE（Byte Pair Encoding）是当前最主流的分词算法，它的思想极其简单：初始时把每个字符当作一个 Token → 统计所有相邻 Token 对的出现频率 → 把出现最多的那对合并成一个新 Token → 重复直到词汇表达到预设大小。

分词方法	核心思路	代表算法	优缺点
基于词	按空格/标点切分	朴素分词	遇到生僻词就废了，只能标 UNK
基于字符	每个字符一个 Token	Char-level	词汇表极小，但序列太长，语义信息稀疏
基于子词 ✦	常用词保留，生僻词拆成子词	BPE、WordPiece、SentencePiece	当前主流，平衡了词汇表大小和覆盖度

编码器（Encoder）：把输入"读懂"成语义向量

编码器的使命是把一串 Token 变成一组富含上下文信息的向量。关键在于"上下文"三个字 — 在 Transformer 的编码器中，每个 Token 的向量不是孤立的，而是"看过"了整句话所有其他 Token 之后才生成的。这背后的核心机制是 Self-Attention（自注意力）：

$$\text{Attention}(Q, K, V) = \text{softmax}\!\left(\frac{QK^{\!\top}}{\sqrt{d_k}}\right) V$$

简单来说，对于句子里的每个词，Self-Attention 会计算它和句子里所有其他词的"相关度"（通过 $Q$ 和 $K$ 的点积），然后按照相关度加权汇总所有词的信息（$V$），形成这个词的"上下文感知表示"。比如句子"我爱北京天安门"中，当编码器处理"北京"这个词时，它会同时看到前面的"我爱"和后面的"天安门"，因此它生成的向量既知道"北京"本身的意思，也融入了上下文信息。

解码器（Decoder）：逐步生成新内容

解码器和编码器有一个核心区别：它是自回归的（Autoregressive） — 每生成一个 Token，就把它加入到已有序列中，然后基于整个已有序列来生成下一个 Token。为了实现这一点，解码器使用了 Causal Mask（因果掩码） — 在计算注意力时，每个位置只能"看到"它前面的 Token，看不到后面的。毕竟，你不可能在写作文的时候参考你还没写出来的内容。

$$\text{score}_{i,j} = \begin{cases} Q_i \cdot K_j^{\!\top}, & j \leq i \\ -\infty, & j > i \end{cases}$$

解码器还会用 Cross-Attention 去"查看"编码器的输出，从而知道"原文说了什么"，然后据此生成目标文本。这三个模块的组合方式，直接决定了后续大模型的两大流派。

1.4 从 BERT 到 GPT 的分水岭

2017 年，Google 发表了《Attention Is All You Need》，提出了 Transformer 架构，它同时包含编码器和解码器，最初是为机器翻译设计的。但随后的两年里，学术界迅速"分家"了：有人只拿编码器，有人只拿解码器，走出了两条完全不同的路。

Encoder-Only

BERT — 填空式学习

2018 年 Google 的 Devlin 等人提出了 BERT。它只用了 Transformer 的编码器部分，预训练方式非常直觉：随机遮住句子中的某些词，让模型根据上下文把它们填回来（Masked Language Modeling, MLM）。比如"我今天去了[MASK]京故宫"，模型需要推断被遮住的是"北"字。优势是双向上下文，在文本分类、情感分析、命名实体识别等判别式任务上表现极其出色。但本质局限：它不擅长生成。因为训练方式是"填空"，它学会了理解语言，但没有学会从左到右逐词生成语言。

Decoder-Only

GPT — 接龙式学习

差不多同一时间（2018 年），OpenAI 提出了 GPT。它只用了 Transformer 的解码器部分，预训练方式更简单粗暴：给一段文本，预测下一个词是什么（Next Token Prediction）。输入"我今天去了北京"，模型需要预测下一个词可能是"故宫"、"烤鸭"、"旅游"等。GPT 在早期并没有引起太大轰动，但 OpenAI 坚持了"不断放大规模"的路线。当 GPT-3 以 1750 亿参数的体量出现时，它展现出了令人震惊的 In-Context Learning 能力 — 只要给几个示例，它就能理解你的意图并完成任务。

为什么 Decoder-Only 赢了？

从今天的视角回头看，GPT 路线胜出有几个关键原因：

生成能力是刚需 — 双向理解固然重要，但 AI 应用最终需要"输出"。写文章、写代码、回答问题，Decoder 天然就是为了生成而设计的。
规模效应（Scaling Laws） — 2020 年 OpenAI 和 DeepMind 的研究表明，模型性能与参数量、数据量、计算量之间存在可预测的幂律关系。Decoder-Only 架构结构简单、容易并行，特别适合"堆规模"。
统一的任务范式 — BERT 的每个下游任务需要一个专门的分类头，而 GPT 可以把所有任务都统一成"文本生成"。分类是生成标签文本，翻译是生成目标语言，写代码是生成代码。一个模型，一个接口，解决所有问题。

第二章

雕刻纹理：当下的大模型长什么样

如果说第一章是"回顾历史"，这一章就是"看看现在"。我们以 DeepSeek 的迭代为主线，看一个大模型从 V3 到 V4 到底经历了哪些架构进化，再拉高视角看看 2025-2026 年间 LLM 领域的整体变化趋势。

2.1 DeepSeek-V3 架构解读

DeepSeek-V3 发布于 2024 年 12 月，它代表了"上一代大模型"的巅峰架构。理解 V3，是理解后续所有进化的基础。它是一个 MoE（Mixture of Experts，混合专家）模型：

671B

总参数量

37B

每次推理激活参数

14.8T

预训练 Token 数

MoE：混合专家系统

传统的 Dense 模型每个 Token 都会经过所有参数。而 MoE 模型把每一层的前馈层（FFN）替换成了多个"专家"（Experts），用一个路由器（Router）来决定每个 Token 交给哪几个专家处理。这个设计极大地降低了推理成本 — 你不需要每次都让所有 671B 参数参与计算，只需要让"最懂当前问题"的 37B 参数出来干活。

MoE 处理流程

输入 Token

→

Router 路由

→

Top-K 专家处理

→

加权求和

→

输出

DeepSeek-V3 用的是 DeepSeekMoE 架构，有两个关键改进：细粒度专家（256 个路由专家 + 1 个共享专家，路由粒度更细）和辅助损失平衡（防止所有 Token 都涌向少数热门专家，引入辅助损失均衡负载）。

MLA：Multi-head Latent Attention

这是 DeepSeek-V3 的另一个标志性创新。传统的 Multi-Head Attention（MHA）需要为每个注意力头存储独立的 Key 和 Value 向量，在推理时会占用大量 KV Cache 内存。MLA 的思路是：把 K 和 V 压缩到低维的潜在向量（Latent Vector），推理时再解压：

$$c_t = W_{\text{DKV}}\, h_t \quad \text{(压缩)} \qquad K_t = W_{\text{UK}}\, c_t,\; V_t = W_{\text{UV}}\, c_t \quad \text{(解压)}$$

这使得 KV Cache 的大小从 $O(n \cdot h \cdot d)$ 降低到 $O(n \cdot c)$，其中 $c \ll h \cdot d$。在 DeepSeek-V3 中，这个压缩比大约能让 KV Cache 缩小 5–13 倍，对长文本推理至关重要。

训练流水线

DeepSeek-V3 的训练分为三个阶段，这也是当时主流大模型的标准范式：

预训练（Pre-training） — 在 14.8T Token 上训练，数据来自互联网文本、书籍、代码等，不经过严格过滤。这一阶段让模型学会语言的基本规律和广泛的通用知识。
监督微调（SFT, Supervised Fine-Tuning） — 用人工标注的高质量对话数据来"教会"模型如何按照人类期望的方式回答问题。数据质量比数据量更重要。
RLHF（Reinforcement Learning from Human Feedback） — 通过人类偏好反馈进一步对齐模型的输出，让它的回答更有帮助、更安全、更诚实。

2.2 从 2025 年伊始到 2026 年中旬 LLM 发生了哪些变化

从 DeepSeek-V3 发布到现在（2026 年中旬），大模型架构经历了密集的迭代。以 DeepSeek 进化为主轴，穿插其他模型的关键变化：

2025 年 1 月 · 第一阶段：推理能力的觉醒

DeepSeek-R1

国内第一个引起轰动的"推理模型"。R1-Zero 完全跳过 SFT，直接在 V3 基座上做大规模 RL，让模型通过"试错"自己学会推理 — 结果令人惊讶：模型自发学会了 Chain-of-Thought（思维链），会一步步推理而不需要人类教它怎么推理。R1 完整版在此基础上加入了数千条"冷启动"数据来引导 RL 探索方向，进行多阶段训练。核心发现：推理能力需要 SFT 配合 RL 共同训练。这一发现直接影响了后续所有模型的后训练策略。论文链接 →

2025 年中 · 第二阶段：架构瘦身与效率革命

V3.1：快速回答 + 深度推理合一

将 V3 线和 R1 线合并为一个 671B 的混合模型，核心创新是可以在"快速回答"和"深度推理"之间切换，只需修改 Chat Template 就能控制模型是直接回答还是先推理再回答。此外还引入了 CoT 压缩训练，让模型在推理时减少冗余的"思考 Token"。

2025 年末

V3.2：稀疏注意力 + Agent 训练生态

引入 DeepSeek Sparse Attention（DSA），对长文本的注意力计算进行稀疏化，不再让每个 Token 都关注所有其他 Token，而是有选择地关注最相关的部分。V3.2 投入了超过预训练算力 10% 的资源在 RL 训练上，并构建了完整的 Agent 训练体系。

2026 年 4 月 · 第三阶段：百万上下文的架构飞跃

DeepSeek-V4

这一阶段的标志性事件，也是目前为止架构变化最大的开源大模型。V4-Pro（1.6T）和 V4-Flash（284B），原生支持 100 万 Token 的上下文窗口。在 1M 上下文中，推理算力只需 V3.2 的 27%，KV Cache 只需 10%。

V4 的三大核心创新

创新	机制	效果
CSA + HCA 混合注意力	CSA（压缩稀疏注意力）：把小段 Token 压缩成摘要表示，后续 Token 只关注最相关的 Top-K 个摘要，实现"精准但高效"的局部关注。HCA（重度压缩注意力）：把大段 Token（每 128 个压缩为 1 个表示）极度压缩，提供"廉价但全局"的宏观视野。两者交替使用。	推理算力仅 V3.2 的 27% KV Cache 仅 10%
mHC 流形约束超连接	传统 Transformer 用一条"残差流"在层间传递信息。V4 把它替换为多条并行的残差流，并施加双随机数学约束来保证信息在各流之间的稳定重分配。	超深网络信息流动更高效稳定
原生 1M 上下文	CSA + HCA 交替使用，支撑百万 Token 窗口	代码仓库分析、多文档推理、Agent 记忆

同期其他模型的关键创新

创新点	代表模型	核心思路
极端稀疏 MoE	ZAYA1	每个 Token 只激活 1 个路由专家
跨层 KV 共享	Gemma	多个解码层复用同一层的 K/V，降低内存
Per-Layer Embeddings	Gemma	每层独立的 Token 嵌入，低成本增加模型容量
层级注意力预算	Laguna	不同层分配不同数量的注意力头，动态调整计算量
压缩卷积注意力	ZAYA1	在压缩的潜在空间中直接做注意力 + 卷积混合

全局视角：五大趋势

从"训得好"到"用得省"

MoE 稀疏化、注意力压缩、KV Cache 优化成为标配。模型不再追求参数量的简单堆叠，而是在效率和能力之间找到最优平衡点。

强化学习成为标配后训练手段

R1 的成功证明了 RL 对推理能力的价值。后续所有主流模型都加入了 RL 训练阶段，甚至出现了"RL 预算超过预训练"的趋势。

长上下文从"特性"变成"基础设施"

1M 上下文不再是宣传卖点，而是模型的底层能力，专为代码仓库分析、多文档推理、Agent 记忆等场景优化。

模型开始"分化"

推理模型 vs 通用模型 vs Agent 模型。同一个基座模型可以衍生出不同专长版本，训练流水线的模块化让"定制模型"变得更容易。

架构创新进入"组合拳"时代

单一创新（如单独的 MoE、MLA）已经不够了。V4 代表了 MoE + 混合注意力 + 多残差流 + 灵活推理的系统性设计思路 — 未来的大模型竞争，是整体架构设计的竞争。

第三章

持续迭代：我的「用AI学AI」工作流

在 AI 时代，信息鱼龙混杂，想看优质干货又需要花时间搜集、检索和筛选。随着时间累积，每当新技术出现，我们总要重新追踪、挖掘和筛选，信息差不断拉大，最后疲于"技术奔命"。核心思路四个字：开源节流。与其被动追赶每一篇推文、每一个热点，不如主动搭建一套适合自己的信息过滤和知识沉淀体系。

3.1 开信息源

开拓自己的一套信息源在这个时代极为重要。不同维度的信息源各有侧重，下面分享我自用的不同维度信息源：

个人博客（较高筛选难度，但质量较高且稳定）

个人博客

阮一峰科技爱好者周刊 →

科技爱好者周刊，"新闻周刊跟热点"，每周更新，涵盖前端、AI、工具推荐等。

个人博客

Sebastian Raschka →

国外科普博主，Learning LLM from Scratch 作者，高质量 LLM 技术解读。

个人博客

Lilian Weng →

OpenAI 研究员，系统梳理通俗易懂、深入浅出，每篇都是精品长文。

知乎

OpenLLMAI →

知乎博客，分享 LLM 架构知识，技术深度较好。

微信公众号

御三家：机器之心、量子位、新智元 — 标题党居多，机器之心相对好一些。NLP 方向推荐 JioNLP、刘聪NLP，有一些自然语言处理的技术贴。

官方博客或海外信息源

官方源

MIT News →

国内科技自媒体的上游信息源，第一手科研资讯。

官方源

BentoML Blog →

Bento 团队的官方博客，更新速度快，涵盖模型部署与架构解读。

官方源

BAAI 智源社区 →

各类科技前沿的创始人、博主聚合，中文社区高质量内容。

课程

Datawhale DIY-LLM →

斯坦福 CS336 的汉化进阶版，从零开始构建大模型实践。

3.2 节思维流

为了降低自己的学习成本、提升学习效率，使用 AI 来替代学习前期的部分工作是十分推荐的选择。我目前对文章和仓库的挖掘主要依赖两个自建工具：自建 Agent 工作流 Ascan 和 自建 Learn-art Skill。

Ascan — 解决"每天看什么"

自动扫描 arXiv（覆盖 cs.AI、cs.CL、cs.CV、cs.IR、cs.MA 五个分类）和 GitHub（追踪 15 个 topic 方向），每天最多处理 500 篇论文，筛选出 Top 20 送入 LLM 深度分析。每篇论文最终得到"极度推荐 / 很推荐 / 推荐 / 一般推荐"的评级。评分逻辑完全透明：核心词命中 +30、次要词 +8、顶会机构 +15，≥30 分才进日报，最多 15 篇。

挖掘方向	权重	举例关键词
智能体框架 / MCP	2.0	llm-agent, tool calling, MCP
数字员工 / 虚拟人	1.8	digital avatar, talking head, NeRF
意图理解 / 用户行为	1.6	intent classification, user behavior
商品推荐	1.5	recommendation, click-through rate
电商客服 / 对话系统	1.4	dialogue system, customer service
商品巡检 / 合规检测	1.3	anomaly detection, defect detection

核心特性：自定义挖掘主题与数量 · 定时自主运行 · HTML/MD 输出与预览 · 接入钉钉文档 · arXiv/GitHub 官方源

Learn-art — 解决"怎么吃透它"

Ascan 解决"每天看什么"的问题，但当你真的看到一篇感兴趣的论文或一个想深入的仓库时，怎么高效地吃透它？Learn-art 能把任意 GitHub 仓库或论文（arXiv 链接、PDF、Markdown）转换成一篇单文件、离线可读的中文 HTML 学习报告 — 一份按照固定 12 章节结构深入拆解的学习材料。

仓库分析策略：

先 ls -la 配合 README 做结构鸟瞰 → 用 grep 统计声明频次提取 3-7 个核心抽象 → 选一个最有代表性的调用链 → 按"先理解依赖再理解使用者"排出学习路径。大型仓库（>500 文件）不硬扫，以 README 为地图按需深入。

论文分析策略：

先抽 Abstract/Method/Experiments 的骨架 → 把方法翻译成"输入 → 关键变换 → 输出"的三步式表达 → 公式拆成"输入是什么 → 干了什么 → 输出是什么"三句中文 → 实验部分挑 3-5 个最有说服力的数字，标注和谁比、提升多少。

从0.5到1：如何在AI时代
快速搭建自己的LLM理解

快速塑形：从机器学习到大模型

1.1 最初的起点：线性回归 → 逻辑回归 → 感知机

1.2 多层感知机：破局之道

从 MLP 到深度学习的三个里程碑

1.3 分词器、编码器、解码器

分词器（Tokenizer）：让模型"认字"的第一步

编码器（Encoder）：把输入"读懂"成语义向量

解码器（Decoder）：逐步生成新内容

1.4 从 BERT 到 GPT 的分水岭

为什么 Decoder-Only 赢了？

雕刻纹理：当下的大模型长什么样

2.1 DeepSeek-V3 架构解读

MoE：混合专家系统

MLA：Multi-head Latent Attention

训练流水线

2.2 从 2025 年伊始到 2026 年中旬 LLM 发生了哪些变化

V4 的三大核心创新

同期其他模型的关键创新

全局视角：五大趋势

持续迭代：我的「用AI学AI」工作流

3.1 开信息源

个人博客（较高筛选难度，但质量较高且稳定）

微信公众号

官方博客或海外信息源

3.2 节思维流

写在最后