合并子章节到父文件，每个篇章归为单文件
将 11 个目录下的 26 个子章节文件合并到对应的父文件中， 用 --- 分隔各子章节，移除冗余的章节目录索引。 每个篇章现在是独立的单文件，结构更简洁。 Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
This commit is contained in:
@@ -1,150 +0,0 @@
|
||||
|
||||
## 学习目标
|
||||
|
||||
了解AI技术发展的关键时间节点
|
||||
|
||||
理解AI四大赛道及其应用场景
|
||||
|
||||
掌握设计领域AI应用的现状与趋势
|
||||
|
||||
# Amazon Go：AI赋能的典型案例
|
||||
|
||||
## 案例背景
|
||||
|
||||
Amazon Go是亚马逊推出的无人便利店，通过计算机视觉和传感器融合技术，实现"拿了就走"的购物体验。
|
||||
|
||||
## 技术要素
|
||||
|
||||
Amazon Go的AI技术栈融合了多项前沿技术：
|
||||
|
||||
--------------------------------------------------
|
||||
技术 作用 应用场景
|
||||
------------ ---------------- --------------------
|
||||
5G通信 低延迟数据传输 实时视频流处理
|
||||
|
||||
3D传感器 深度信息获取 空间定位与手势识别
|
||||
|
||||
计算机视觉 图像理解 商品识别、行为分析
|
||||
|
||||
传感器融合 多源数据整合 精确定位与跟踪
|
||||
--------------------------------------------------
|
||||
|
||||
## 启示
|
||||
|
||||
Amazon Go展示了AI技术如何重构传统场景。从"扫码支付"到"拿了就走"，AI让交互变得更加自然。
|
||||
|
||||
# AI赋能的时间线：2016-2024
|
||||
|
||||
## 第一阶段：觉醒期 (2016-2018)
|
||||
|
||||
**2016**：AlphaGo击败李世石，AI进入公众视野
|
||||
|
||||
**2017**：Transformer架构诞生，为大模型时代奠基
|
||||
|
||||
**2018**：BERT预训练模型问世，NLP任务取得突破
|
||||
|
||||
## 第二阶段：爆发期 (2019-2022)
|
||||
|
||||
**2019**：GPT-2展示强大的文本生成能力
|
||||
|
||||
**2020**：GPT-3发布，少样本学习能力震惊业界
|
||||
|
||||
**2022**：ChatGPT发布，AI对话能力达到新高度
|
||||
|
||||
## 第三阶段：应用期 (2023-2024)
|
||||
|
||||
**2023**：多模态大模型、AI Agent概念兴起
|
||||
|
||||
**2024**：具身智能、端侧AI加速落地
|
||||
|
||||
# AI四大赛道
|
||||
|
||||
## 1. AIGC (AI-Generated Content)
|
||||
|
||||
**定义**：人工智能生成内容
|
||||
|
||||
**应用领域**： - 文本生成：文章、报告、代码 - 图像生成：设计稿、效果图、图标 - 视频生成：短视频、动画、特效 - 音频生成：音乐、配音、音效
|
||||
|
||||
**设计影响**：从"工具辅助"到"生成伙伴"
|
||||
|
||||
## 2. Agent (智能体)
|
||||
|
||||
**定义**：能够自主感知、规划、执行的系统
|
||||
|
||||
**核心能力**： - 感知 (Perception)：理解环境信息 - 规划 (Planning)：制定行动方案 - 记忆 (Memory)：存储和检索经验 - 工具 (Tool Use)：调用外部资源
|
||||
|
||||
**设计影响**：从"被动执行"到"主动协作"
|
||||
|
||||
## 3. AI4S (AI for Science)
|
||||
|
||||
**定义**：AI驱动科学发现
|
||||
|
||||
**应用领域**： - 蛋白质结构预测 (AlphaFold) - 材料科学计算 - 气候变化模拟 - 城市系统优化
|
||||
|
||||
**设计影响**：数据驱动的设计决策
|
||||
|
||||
## 4. AIED (AI in Education)
|
||||
|
||||
**定义**：AI在教育领域的应用
|
||||
|
||||
**应用场景**： - 个性化学习路径 - 智能答疑与辅导 - 学习行为分析 - 知识图谱构建
|
||||
|
||||
**设计影响**：设计教育与人才培养模式变革
|
||||
|
||||
# 设计领域AI应用趋势
|
||||
|
||||
## 当前应用
|
||||
|
||||
----------------------------------------
|
||||
领域 AI应用 成熟度
|
||||
---------- -------------------- --------
|
||||
建筑设计 图纸生成、方案优化 中
|
||||
|
||||
景观设计 场地分析、植被配置 中
|
||||
|
||||
室内设计 家具布局、风格迁移 高
|
||||
|
||||
平面设计 Logo生成、排版辅助 高
|
||||
|
||||
交互设计 用户研究、原型生成 低
|
||||
----------------------------------------
|
||||
|
||||
## 未来趋势
|
||||
|
||||
1.**从单点工具到系统化解决方案**
|
||||
|
||||
2.**从生成内容到生成决策**
|
||||
|
||||
3.**从人机协作到人机共生**
|
||||
|
||||
# 思考与练习
|
||||
|
||||
1.选择你熟悉的设计领域，分析AI在该领域的应用现状和潜力
|
||||
|
||||
2.思考AI四大赛道中，哪一个对你的专业影响最大？为什么？
|
||||
|
||||
3.Amazon Go案例中，哪些AI技术可以迁移到设计领域？
|
||||
|
||||
# 关键术语
|
||||
|
||||
--------------------------------------------------------
|
||||
中文 英文 说明
|
||||
----------------- --------------- ----------------------
|
||||
生成式AI AIGC AI-Generated Content
|
||||
|
||||
智能体 Agent 自主决策系统
|
||||
|
||||
AI for Science AI4S AI驱动科学研究
|
||||
|
||||
AI in Education AIED AI教育应用
|
||||
|
||||
传感器融合 Sensor Fusion 多传感器数据整合
|
||||
--------------------------------------------------------
|
||||
|
||||
# 延伸阅读
|
||||
|
||||
[Amazon Go技术解析](https://amazon.go/technology)
|
||||
|
||||
[AIGC产业发展报告](https://www.caict.ac.cn/)
|
||||
|
||||
[AI Agent综述论文](https://arxiv.org/pdf/2308.11432v2) \# 00.2 AI范式演进
|
||||
@@ -1,226 +0,0 @@
|
||||
|
||||
# 学习目标
|
||||
|
||||
理解AI范式的三次演进
|
||||
|
||||
掌握万能逼近定理的直观意义
|
||||
|
||||
建立神经网络技术栈的完整认知
|
||||
|
||||
理解Scaling Law与模型规模效应
|
||||
|
||||
# AI范式的三次演进
|
||||
|
||||
## 第一范式：规则系统 (Symbolic AI)
|
||||
|
||||
**时期**：1950s - 1980s
|
||||
|
||||
**核心思想**：人类专家编写规则
|
||||
|
||||
**特点**： - 逻辑推理清晰 - 知识表达明确 - 泛化能力弱
|
||||
|
||||
**典型应用**：专家系统、棋类游戏
|
||||
|
||||
## 第二范式：机器学习 (Machine Learning)
|
||||
|
||||
**时期**：1990s - 2010s
|
||||
|
||||
**核心思想**：从数据中学习规律
|
||||
|
||||
**特点**： - 数据驱动 - 特征工程依赖专家经验 - 任务特定
|
||||
|
||||
**典型应用**：推荐系统、图像分类、语音识别
|
||||
|
||||
## 第三范式：深度学习 (Deep Learning)
|
||||
|
||||
**时期**：2012 - 至今
|
||||
|
||||
**核心思想**：端到端学习，自动提取特征
|
||||
|
||||
**特点**： - 大数据驱动 - 自动特征学习 - 迁移学习能力强
|
||||
|
||||
**典型应用**：大语言模型、生成式AI、自动驾驶
|
||||
|
||||
# 万能逼近定理
|
||||
|
||||
## 定理表述
|
||||
|
||||
**Universal Approximation Theorem (1989)**：
|
||||
|
||||
一个具有足够多神经元的单隐藏层前馈神经网络，可以以任意精度逼近任何连续函数。
|
||||
|
||||
## 直观理解
|
||||
|
||||
想象一张橡皮膜： - 输入空间是平面上的点 - 神经网络调整膜的形状 - 神经元越多，膜的形变能力越强 - 最终可以拟合任意复杂的曲面
|
||||
|
||||
## 启示
|
||||
|
||||
这个定理告诉我们：**神经网络具有强大的表达能力，理论上可以学习任何复杂的映射关系**。
|
||||
|
||||
这也是深度学习能够处理图像、语言、语音等复杂任务的数学基础。
|
||||
|
||||
# 神经网络技术栈全景
|
||||
|
||||
`┌─────────────────────────────────────────────────────────────┐`\
|
||||
`│ ``应用层`` │`\
|
||||
`│ AIGC │ Agent │ AI4S │ AIED │ ``空间智能`` │`\
|
||||
`├─────────────────────────────────────────────────────────────┤`\
|
||||
`│ ``模型层`` │`\
|
||||
`│ Diffusion │ Transformer │ GNN │ CNN │ MLP │`\
|
||||
`├─────────────────────────────────────────────────────────────┤`\
|
||||
`│ ``算法层`` │`\
|
||||
`│ ``反向传播`` │ ``注意力机制`` │ ``卷积`` │ ``池化`` │ ``激活函数`` │`\
|
||||
`├─────────────────────────────────────────────────────────────┤`\
|
||||
`│ ``数学层`` │`\
|
||||
`│ ``微积分`` │ ``线性代数`` │ ``概率论`` │ ``优化理论`` │`\
|
||||
`└─────────────────────────────────────────────────────────────┘`
|
||||
|
||||
## 技术演进路径
|
||||
|
||||
------------------------------------------
|
||||
时代 代表技术 突破点
|
||||
------- ------------- --------------------
|
||||
1980s MLP 万能逼近定理
|
||||
|
||||
1990s CNN 局部连接、权重共享
|
||||
|
||||
2000s RNN/LSTM 序列建模
|
||||
|
||||
2010s GNN 图结构数据
|
||||
|
||||
2017 Transformer Self-Attention
|
||||
|
||||
2020s Diffusion 生成质量突破
|
||||
------------------------------------------
|
||||
|
||||
## 模型家族关系
|
||||
|
||||
`MLP (``多层感知机``)`\
|
||||
` │`\
|
||||
` ┌──────────────┼──────────────┐`\
|
||||
` │ │ │`\
|
||||
` CNN GNN RNN`\
|
||||
` (``空间数据``) (``图数据``) (``序列数据``)`\
|
||||
` │ │ │`\
|
||||
` └──────────────┼──────────────┘`\
|
||||
` │`\
|
||||
` Transformer`\
|
||||
` │`\
|
||||
` ┌──────────────┼──────────────┐`\
|
||||
` │ │ │`\
|
||||
` GPT``系列`` BERT Diffusion`\
|
||||
` (``生成式``) (``理解式``) (``图像生成``)`
|
||||
|
||||
# Scaling Law：规模即智能
|
||||
|
||||
## 什么是Scaling Law
|
||||
|
||||
Scaling Law（缩放定律）描述了模型性能与计算量、数据量、参数量之间的关系：
|
||||
|
||||
**模型性能 ≈ f(计算量, 数据量, 参数量)**
|
||||
|
||||
## 核心发现
|
||||
|
||||
### 1.性能随规模对数增长
|
||||
|
||||
o模型越大，性能越好
|
||||
|
||||
o增长是可预测的
|
||||
|
||||
#### 2.计算效率最关键
|
||||
|
||||
o计算量增加10倍 → 性能提升约1.5倍
|
||||
|
||||
o数据量和参数量也有类似规律
|
||||
|
||||
#### 3.没有看到天花板
|
||||
|
||||
o在现有规模下，性能提升仍在继续
|
||||
|
||||
### 启示
|
||||
|
||||
**大模型时代**：规模成为竞争壁垒
|
||||
|
||||
**数据为王**：高质量数据比模型架构更重要
|
||||
|
||||
**算力需求**：AI发展依赖硬件进步
|
||||
|
||||
从函数式视角看AI演进
|
||||
|
||||
### 核心理念
|
||||
|
||||
**"Functions Describe the World"（函数描述世界）**
|
||||
|
||||
物理定律：F = ma
|
||||
|
||||
经济规律：Supply = Demand(Price)
|
||||
|
||||
神经网络：y = f(x; θ)
|
||||
|
||||
### AI即函数组合
|
||||
|
||||
`输入数据`` x`\
|
||||
` │`\
|
||||
` ▼`\
|
||||
`┌─────────┐`\
|
||||
`│ f₁(x) │ ``第一层函数：特征提取`\
|
||||
`└─────────┘`\
|
||||
` │`\
|
||||
` ▼`\
|
||||
`┌─────────┐`\
|
||||
`│ f₂(h) │ ``第二层函数：模式识别`\
|
||||
`└─────────┘`\
|
||||
` │`\
|
||||
` ▼`\
|
||||
`┌─────────┐`\
|
||||
`│ f₃(z) │ ``第三层函数：决策输出`\
|
||||
`└─────────┘`\
|
||||
` │`\
|
||||
` ▼`\
|
||||
`输出`` y`
|
||||
|
||||
从Excel到神经网络
|
||||
|
||||
------------------------------------
|
||||
Excel 神经网络
|
||||
--------------------- --------------
|
||||
y = ax + b 单层感知机
|
||||
|
||||
y = a₁x₁ + a₂x₂ + b 多输入神经元
|
||||
|
||||
嵌套IF函数 多层网络
|
||||
|
||||
宏函数 自动微分
|
||||
------------------------------------
|
||||
|
||||
## 思考与练习
|
||||
|
||||
1.万能逼近定理告诉我们神经网络"能"做任何事，但没有说"如何"高效学习。这个区别意味着什么？
|
||||
|
||||
2.Scaling Law是否意味着"越大越好"？在资源有限的情况下，应该如何权衡？
|
||||
|
||||
3.从函数式视角理解AI，对你理解设计问题有何启发？
|
||||
|
||||
## 关键术语
|
||||
|
||||
-------------------------------------------------------------------------------------
|
||||
中文 英文 说明
|
||||
---------------------- --------------------------------- ----------------------------
|
||||
万能逼近定理 Universal Approximation Theorem 神经网络表达能力的理论保证
|
||||
|
||||
缩放定律 Scaling Law 模型性能与规模的关系
|
||||
|
||||
前馈网络 Feed-Forward Network 信息单向传播的神经网络
|
||||
|
||||
多层感知机 MLP Multi-Layer Perceptron
|
||||
|
||||
端到端学习 End-to-End Learning 从输入直接学习到输出
|
||||
-------------------------------------------------------------------------------------
|
||||
|
||||
## 延伸阅读
|
||||
|
||||
[Scaling Laws for Neural Language Models](https://arxiv.org/abs/2001.08361)
|
||||
|
||||
[Universal Approximation Theorem](https://en.wikipedia.org/wiki/Universal_approximation_theorem)
|
||||
|
||||
[The Evolution of AI: A Historical Perspective](https://www.nature.com/articles/s41586-023-06221-x)
|
||||
@@ -1,6 +1,6 @@
|
||||
# 第一篇：导论
|
||||
|
||||
本篇建立读者对人工智能的宏观认知，介绍AI的发展历程和范式演进，帮助读者理解AI技术的全貌和发展趋势。
|
||||
本篇作为全书的开篇，旨在帮助读者建立对人工智能的宏观认知框架。我们将从AI的发展历程出发，回顾从早期符号主义到深度学习、再到大模型时代的关键技术突破与转折节点；进而梳理AI的范式演进，从感知智能到生成式智能、从单一任务到通用智能的发展脉络，帮助读者理解AI技术的全貌和未来趋势。这一宏观视角的建立，将为后续各篇中AI与设计实践的结合提供必要的技术认知基础。
|
||||
|
||||
## 篇章导读
|
||||
|
||||
@@ -10,42 +10,382 @@
|
||||
|
||||
通过本篇学习，你将建立对AI的宏观认知，理解技术发展的脉络，为后续深入学习打下基础。
|
||||
|
||||
## 章节目录
|
||||
|
||||
[00.1 AI发展历程](00.1-ai-overview.md) - 从Amazon Go到AI赋能
|
||||
|
||||
[00.2 AI范式演进](00.2-ai-paradigm.md) - 技术栈全景与发展趋势
|
||||
---
|
||||
|
||||
## 学习目标
|
||||
|
||||
完成本篇后，你将能够：
|
||||
了解AI技术发展的关键时间节点
|
||||
|
||||
描述AI发展的关键节点和技术突破
|
||||
理解AI四大赛道及其应用场景
|
||||
|
||||
理解AI四大赛道的区别和应用场景
|
||||
掌握设计领域AI应用的现状与趋势
|
||||
|
||||
掌握神经网络技术家族的演进脉络
|
||||
# Amazon Go：AI赋能的典型案例
|
||||
|
||||
建立AI技术栈的完整认知框架
|
||||
## 案例背景
|
||||
|
||||
## 核心概念
|
||||
Amazon Go是亚马逊推出的无人便利店，通过计算机视觉和传感器融合技术，实现"拿了就走"的购物体验。
|
||||
|
||||
------------------------------------------------------------------
|
||||
概念 英文 说明
|
||||
----------------- ------- ----------------------------------------
|
||||
生成式AI AIGC AI-Generated Content，人工智能生成内容
|
||||
## 技术要素
|
||||
|
||||
智能体 Agent 能够自主感知、决策和行动的系统
|
||||
Amazon Go的AI技术栈融合了多项前沿技术：
|
||||
|
||||
AI for Science AI4S AI驱动科学发现
|
||||
--------------------------------------------------
|
||||
技术 作用 应用场景
|
||||
------------ ---------------- --------------------
|
||||
5G通信 低延迟数据传输 实时视频流处理
|
||||
|
||||
AI in Education AIED AI在教育领域的应用
|
||||
------------------------------------------------------------------
|
||||
3D传感器 深度信息获取 空间定位与手势识别
|
||||
|
||||
## 延伸思考
|
||||
计算机视觉 图像理解 商品识别、行为分析
|
||||
|
||||
1.AI技术发展呈现加速趋势，这对设计行业意味着什么？
|
||||
传感器融合 多源数据整合 精确定位与跟踪
|
||||
--------------------------------------------------
|
||||
|
||||
2.在AIGC、Agent、AI4S、AIED四个方向中，你认为哪个对设计领域影响最大？
|
||||
## 启示
|
||||
|
||||
3.了解AI技术演进后，你认为设计师应该掌握哪些AI相关技能？ \# 00.1 AI发展历程
|
||||
Amazon Go展示了AI技术如何重构传统场景。从"扫码支付"到"拿了就走"，AI让交互变得更加自然。
|
||||
|
||||
# AI赋能的时间线：2016-2024
|
||||
|
||||
## 第一阶段：觉醒期 (2016-2018)
|
||||
|
||||
**2016**：AlphaGo击败李世石，AI进入公众视野
|
||||
|
||||
**2017**：Transformer架构诞生，为大模型时代奠基
|
||||
|
||||
**2018**：BERT预训练模型问世，NLP任务取得突破
|
||||
|
||||
## 第二阶段：爆发期 (2019-2022)
|
||||
|
||||
**2019**：GPT-2展示强大的文本生成能力
|
||||
|
||||
**2020**：GPT-3发布，少样本学习能力震惊业界
|
||||
|
||||
**2022**：ChatGPT发布，AI对话能力达到新高度
|
||||
|
||||
## 第三阶段：应用期 (2023-2024)
|
||||
|
||||
**2023**：多模态大模型、AI Agent概念兴起
|
||||
|
||||
**2024**：具身智能、端侧AI加速落地
|
||||
|
||||
# AI四大赛道
|
||||
|
||||
## 1. AIGC (AI-Generated Content)
|
||||
|
||||
**定义**：人工智能生成内容
|
||||
|
||||
**应用领域**： - 文本生成：文章、报告、代码 - 图像生成：设计稿、效果图、图标 - 视频生成：短视频、动画、特效 - 音频生成：音乐、配音、音效
|
||||
|
||||
**设计影响**：从"工具辅助"到"生成伙伴"
|
||||
|
||||
## 2. Agent (智能体)
|
||||
|
||||
**定义**：能够自主感知、规划、执行的系统
|
||||
|
||||
**核心能力**： - 感知 (Perception)：理解环境信息 - 规划 (Planning)：制定行动方案 - 记忆 (Memory)：存储和检索经验 - 工具 (Tool Use)：调用外部资源
|
||||
|
||||
**设计影响**：从"被动执行"到"主动协作"
|
||||
|
||||
## 3. AI4S (AI for Science)
|
||||
|
||||
**定义**：AI驱动科学发现
|
||||
|
||||
**应用领域**： - 蛋白质结构预测 (AlphaFold) - 材料科学计算 - 气候变化模拟 - 城市系统优化
|
||||
|
||||
**设计影响**：数据驱动的设计决策
|
||||
|
||||
## 4. AIED (AI in Education)
|
||||
|
||||
**定义**：AI在教育领域的应用
|
||||
|
||||
**应用场景**： - 个性化学习路径 - 智能答疑与辅导 - 学习行为分析 - 知识图谱构建
|
||||
|
||||
**设计影响**：设计教育与人才培养模式变革
|
||||
|
||||
# 设计领域AI应用趋势
|
||||
|
||||
## 当前应用
|
||||
|
||||
----------------------------------------
|
||||
领域 AI应用 成熟度
|
||||
---------- -------------------- --------
|
||||
建筑设计 图纸生成、方案优化 中
|
||||
|
||||
景观设计 场地分析、植被配置 中
|
||||
|
||||
室内设计 家具布局、风格迁移 高
|
||||
|
||||
平面设计 Logo生成、排版辅助 高
|
||||
|
||||
交互设计 用户研究、原型生成 低
|
||||
----------------------------------------
|
||||
|
||||
## 未来趋势
|
||||
|
||||
1.**从单点工具到系统化解决方案**
|
||||
|
||||
2.**从生成内容到生成决策**
|
||||
|
||||
3.**从人机协作到人机共生**
|
||||
|
||||
# 思考与练习
|
||||
|
||||
1.选择你熟悉的设计领域，分析AI在该领域的应用现状和潜力
|
||||
|
||||
2.思考AI四大赛道中，哪一个对你的专业影响最大？为什么？
|
||||
|
||||
3.Amazon Go案例中，哪些AI技术可以迁移到设计领域？
|
||||
|
||||
# 关键术语
|
||||
|
||||
--------------------------------------------------------
|
||||
中文 英文 说明
|
||||
----------------- --------------- ----------------------
|
||||
生成式AI AIGC AI-Generated Content
|
||||
|
||||
智能体 Agent 自主决策系统
|
||||
|
||||
AI for Science AI4S AI驱动科学研究
|
||||
|
||||
AI in Education AIED AI教育应用
|
||||
|
||||
传感器融合 Sensor Fusion 多传感器数据整合
|
||||
--------------------------------------------------------
|
||||
|
||||
# 延伸阅读
|
||||
|
||||
[Amazon Go技术解析](https://amazon.go/technology)
|
||||
|
||||
[AIGC产业发展报告](https://www.caict.ac.cn/)
|
||||
|
||||
[AI Agent综述论文](https://arxiv.org/pdf/2308.11432v2) \# 00.2 AI范式演进
|
||||
|
||||
---
|
||||
|
||||
# 学习目标
|
||||
|
||||
理解AI范式的三次演进
|
||||
|
||||
掌握万能逼近定理的直观意义
|
||||
|
||||
建立神经网络技术栈的完整认知
|
||||
|
||||
理解Scaling Law与模型规模效应
|
||||
|
||||
# AI范式的三次演进
|
||||
|
||||
## 第一范式：规则系统 (Symbolic AI)
|
||||
|
||||
**时期**：1950s - 1980s
|
||||
|
||||
**核心思想**：人类专家编写规则
|
||||
|
||||
**特点**： - 逻辑推理清晰 - 知识表达明确 - 泛化能力弱
|
||||
|
||||
**典型应用**：专家系统、棋类游戏
|
||||
|
||||
## 第二范式：机器学习 (Machine Learning)
|
||||
|
||||
**时期**：1990s - 2010s
|
||||
|
||||
**核心思想**：从数据中学习规律
|
||||
|
||||
**特点**： - 数据驱动 - 特征工程依赖专家经验 - 任务特定
|
||||
|
||||
**典型应用**：推荐系统、图像分类、语音识别
|
||||
|
||||
## 第三范式：深度学习 (Deep Learning)
|
||||
|
||||
**时期**：2012 - 至今
|
||||
|
||||
**核心思想**：端到端学习，自动提取特征
|
||||
|
||||
**特点**： - 大数据驱动 - 自动特征学习 - 迁移学习能力强
|
||||
|
||||
**典型应用**：大语言模型、生成式AI、自动驾驶
|
||||
|
||||
# 万能逼近定理
|
||||
|
||||
## 定理表述
|
||||
|
||||
**Universal Approximation Theorem (1989)**：
|
||||
|
||||
一个具有足够多神经元的单隐藏层前馈神经网络，可以以任意精度逼近任何连续函数。
|
||||
|
||||
## 直观理解
|
||||
|
||||
想象一张橡皮膜： - 输入空间是平面上的点 - 神经网络调整膜的形状 - 神经元越多，膜的形变能力越强 - 最终可以拟合任意复杂的曲面
|
||||
|
||||
## 启示
|
||||
|
||||
这个定理告诉我们：**神经网络具有强大的表达能力，理论上可以学习任何复杂的映射关系**。
|
||||
|
||||
这也是深度学习能够处理图像、语言、语音等复杂任务的数学基础。
|
||||
|
||||
# 神经网络技术栈全景
|
||||
|
||||
`┌─────────────────────────────────────────────────────────────┐`\
|
||||
`│ ``应用层`` │`\
|
||||
`│ AIGC │ Agent │ AI4S │ AIED │ ``空间智能`` │`\
|
||||
`├─────────────────────────────────────────────────────────────┤`\
|
||||
`│ ``模型层`` │`\
|
||||
`│ Diffusion │ Transformer │ GNN │ CNN │ MLP │`\
|
||||
`├─────────────────────────────────────────────────────────────┤`\
|
||||
`│ ``算法层`` │`\
|
||||
`│ ``反向传播`` │ ``注意力机制`` │ ``卷积`` │ ``池化`` │ ``激活函数`` │`\
|
||||
`├─────────────────────────────────────────────────────────────┤`\
|
||||
`│ ``数学层`` │`\
|
||||
`│ ``微积分`` │ ``线性代数`` │ ``概率论`` │ ``优化理论`` │`\
|
||||
`└─────────────────────────────────────────────────────────────┘`
|
||||
|
||||
## 技术演进路径
|
||||
|
||||
------------------------------------------
|
||||
时代 代表技术 突破点
|
||||
------- ------------- --------------------
|
||||
1980s MLP 万能逼近定理
|
||||
|
||||
1990s CNN 局部连接、权重共享
|
||||
|
||||
2000s RNN/LSTM 序列建模
|
||||
|
||||
2010s GNN 图结构数据
|
||||
|
||||
2017 Transformer Self-Attention
|
||||
|
||||
2020s Diffusion 生成质量突破
|
||||
------------------------------------------
|
||||
|
||||
## 模型家族关系
|
||||
|
||||
`MLP (``多层感知机``)`\
|
||||
` │`\
|
||||
` ┌──────────────┼──────────────┐`\
|
||||
` │ │ │`\
|
||||
` CNN GNN RNN`\
|
||||
` (``空间数据``) (``图数据``) (``序列数据``)`\
|
||||
` │ │ │`\
|
||||
` └──────────────┼──────────────┘`\
|
||||
` │`\
|
||||
` Transformer`\
|
||||
` │`\
|
||||
` ┌──────────────┼──────────────┐`\
|
||||
` │ │ │`\
|
||||
` GPT``系列`` BERT Diffusion`\
|
||||
` (``生成式``) (``理解式``) (``图像生成``)`
|
||||
|
||||
# Scaling Law：规模即智能
|
||||
|
||||
## 什么是Scaling Law
|
||||
|
||||
Scaling Law（缩放定律）描述了模型性能与计算量、数据量、参数量之间的关系：
|
||||
|
||||
**模型性能 ≈ f(计算量, 数据量, 参数量)**
|
||||
|
||||
## 核心发现
|
||||
|
||||
### 1.性能随规模对数增长
|
||||
|
||||
o模型越大，性能越好
|
||||
|
||||
o增长是可预测的
|
||||
|
||||
#### 2.计算效率最关键
|
||||
|
||||
o计算量增加10倍 → 性能提升约1.5倍
|
||||
|
||||
o数据量和参数量也有类似规律
|
||||
|
||||
#### 3.没有看到天花板
|
||||
|
||||
o在现有规模下，性能提升仍在继续
|
||||
|
||||
### 启示
|
||||
|
||||
**大模型时代**：规模成为竞争壁垒
|
||||
|
||||
**数据为王**：高质量数据比模型架构更重要
|
||||
|
||||
**算力需求**：AI发展依赖硬件进步
|
||||
|
||||
从函数式视角看AI演进
|
||||
|
||||
### 核心理念
|
||||
|
||||
**"Functions Describe the World"（函数描述世界）**
|
||||
|
||||
物理定律：F = ma
|
||||
|
||||
经济规律：Supply = Demand(Price)
|
||||
|
||||
神经网络：y = f(x; θ)
|
||||
|
||||
### AI即函数组合
|
||||
|
||||
`输入数据`` x`\
|
||||
` │`\
|
||||
` ▼`\
|
||||
`┌─────────┐`\
|
||||
`│ f₁(x) │ ``第一层函数：特征提取`\
|
||||
`└─────────┘`\
|
||||
` │`\
|
||||
` ▼`\
|
||||
`┌─────────┐`\
|
||||
`│ f₂(h) │ ``第二层函数：模式识别`\
|
||||
`└─────────┘`\
|
||||
` │`\
|
||||
` ▼`\
|
||||
`┌─────────┐`\
|
||||
`│ f₃(z) │ ``第三层函数：决策输出`\
|
||||
`└─────────┘`\
|
||||
` │`\
|
||||
` ▼`\
|
||||
`输出`` y`
|
||||
|
||||
从Excel到神经网络
|
||||
|
||||
------------------------------------
|
||||
Excel 神经网络
|
||||
--------------------- --------------
|
||||
y = ax + b 单层感知机
|
||||
|
||||
y = a₁x₁ + a₂x₂ + b 多输入神经元
|
||||
|
||||
嵌套IF函数 多层网络
|
||||
|
||||
宏函数 自动微分
|
||||
------------------------------------
|
||||
|
||||
## 思考与练习
|
||||
|
||||
1.万能逼近定理告诉我们神经网络"能"做任何事，但没有说"如何"高效学习。这个区别意味着什么？
|
||||
|
||||
2.Scaling Law是否意味着"越大越好"？在资源有限的情况下，应该如何权衡？
|
||||
|
||||
3.从函数式视角理解AI，对你理解设计问题有何启发？
|
||||
|
||||
## 关键术语
|
||||
|
||||
-------------------------------------------------------------------------------------
|
||||
中文 英文 说明
|
||||
---------------------- --------------------------------- ----------------------------
|
||||
万能逼近定理 Universal Approximation Theorem 神经网络表达能力的理论保证
|
||||
|
||||
缩放定律 Scaling Law 模型性能与规模的关系
|
||||
|
||||
前馈网络 Feed-Forward Network 信息单向传播的神经网络
|
||||
|
||||
多层感知机 MLP Multi-Layer Perceptron
|
||||
|
||||
端到端学习 End-to-End Learning 从输入直接学习到输出
|
||||
-------------------------------------------------------------------------------------
|
||||
|
||||
## 延伸阅读
|
||||
|
||||
[Scaling Laws for Neural Language Models](https://arxiv.org/abs/2001.08361)
|
||||
|
||||
[Universal Approximation Theorem](https://en.wikipedia.org/wiki/Universal_approximation_theorem)
|
||||
|
||||
[The Evolution of AI: A Historical Perspective](https://www.nature.com/articles/s41586-023-06221-x)
|
||||
|
||||
Reference in New Issue
Block a user