# 第四篇：Transformer与大模型

本篇介绍革命性的Transformer架构和大语言模型，理解Self-Attention机制和LLM应用。

## 篇章导读

Transformer是AI领域最重要的架构创新之一。它不仅彻底改变了自然语言处理，还通过Attention机制启发了计算机视觉的范式变革。

本篇将从注意力机制出发，深入理解Transformer架构，并探讨大语言模型在设计领域的应用。

## 章节目录

[03.1 注意力机制](03.1-attention.md) - Self-Attention原理

[03.2 Transformer架构](03.2-transformer.md) - Encoder-Decoder结构

[03.3 大语言模型应用](03.3-llm-application.md) - ChatGPT、RAG与Prompt工程

## 核心概念

  -------------------------------------------------------
  概念         英文                  说明
  ------------ --------------------- --------------------
  注意力机制   Attention             关注输入的重要部分

  自注意力     Self-Attention        序列内部的关系建模

  位置编码     Positional Encoding   保留序列位置信息

  令牌         Token                 文本的基本单位
  -------------------------------------------------------

## 03.1 注意力机制