pengxiao
e58b95d227
将《设计人工智能：基础与应用》拆分为 38 个 Markdown 文件， 按 11 个部分（上篇6部分+下篇5部分）+ 3 个附录组织。 Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
158 lines
3.7 KiB
Markdown
158 lines
3.7 KiB
Markdown
|
|
# 学习目标
|
|
|
|
3. 理解具身智能的概念和特点
|
|
|
|
了解数字孪生与物理世界的交互
|
|
|
|
掌握强化学习在具身AI中的应用
|
|
|
|
# 什么是具身智能
|
|
|
|
## 定义
|
|
|
|
**具身智能 (Embodied AI)**：具有物理实体或虚拟身体的智能系统，能够通过与环境的交互来学习和完成任务。
|
|
|
|
## 与传统AI的区别
|
|
|
|
------------------------------------
|
|
特性 传统AI 具身AI
|
|
---------- ------------ ------------
|
|
交互方式 数据输入 主动探索
|
|
|
|
学习方式 从数据学习 从交互学习
|
|
|
|
输出形式 预测/生成 行动/操作
|
|
------------------------------------
|
|
|
|
# 数字孪生
|
|
|
|
## 概念
|
|
|
|
`物理世界`` → ``数字映射`` → ``仿真预测`` → ``反向控制`
|
|
|
|
## 应用层次
|
|
|
|
--------------------------------
|
|
层次 内容 应用
|
|
---------- ---------- ----------
|
|
几何孪生 三维模型 可视化
|
|
|
|
物理孪生 物理仿真 性能分析
|
|
|
|
行为孪生 行为模拟 场景预测
|
|
|
|
认知孪生 决策支持 智能控制
|
|
--------------------------------
|
|
|
|
# 强化学习基础
|
|
|
|
## 核心要素
|
|
|
|
`┌─────────────────────────────────────┐`\
|
|
`│ │`\
|
|
`│ ``环境`` ← ``状态`` ──────→ Agent │`\
|
|
`│ ↑ │ │`\
|
|
`│ └──── ``奖励`` ←─── ``动作`` ─┘ │`\
|
|
`│ │`\
|
|
`└─────────────────────────────────────┘`
|
|
|
|
## 训练循环
|
|
|
|
1. `观察环境状态`
|
|
|
|
2. `选择行动`
|
|
|
|
3. `执行行动`
|
|
|
|
4. `获得奖励`
|
|
|
|
5. `更新策略`
|
|
|
|
6. `重复``...`
|
|
|
|
## Gymnasium环境
|
|
|
|
`import gymnasium as gym`\
|
|
\
|
|
`env = ``gym.make``("CartPole-v1")`\
|
|
`state, _ = ``env.reset``()`\
|
|
\
|
|
`for _ in range(1000):`\
|
|
` action = policy(state)`\
|
|
` state, reward, done, _, _ = ``env.step``(action)`\
|
|
` if done:`\
|
|
` break`
|
|
|
|
# 具身AI应用场景
|
|
|
|
## 机器人设计
|
|
|
|
`感知环境`` → ``规划路径`` → ``执行动作`` → ``反馈调整`\
|
|
` ↓`\
|
|
`建筑机器人、施工机器人`
|
|
|
|
## 虚拟角色
|
|
|
|
`游戏``NPC``、虚拟助手、元宇宙居民`\
|
|
` ↓`\
|
|
`自然行为、智能对话`
|
|
|
|
## 仿真训练
|
|
|
|
`虚拟环境`` → ``训练策略`` → ``迁移到真实`\
|
|
` ↓`\
|
|
`降低试错成本`
|
|
|
|
# 虚拟到真实的迁移
|
|
|
|
## 挑战
|
|
|
|
-----------------------------------
|
|
问题 说明
|
|
-------------- --------------------
|
|
Sim2Real Gap 仿真与现实的差异
|
|
|
|
感官差异 虚拟与真实感知不同
|
|
|
|
物理特性 真实物理更复杂
|
|
-----------------------------------
|
|
|
|
## 解决方案
|
|
|
|
1. 域随机化 (Domain Randomization)
|
|
|
|
真实数据混合
|
|
|
|
在线微调
|
|
|
|
# 思考与练习
|
|
|
|
1. 具身智能在规划设计中有哪些应用前景？
|
|
|
|
2. 数字孪生如何辅助设计决策？
|
|
|
|
3. Sim2Real迁移的主要挑战是什么？
|
|
|
|
# 关键术语
|
|
|
|
--------------------------------------------------
|
|
中文 英文 说明
|
|
---------- -------------- ------------------------
|
|
具身智能 Embodied AI 有身体形式的AI
|
|
|
|
数字孪生 Digital Twin 物理世界的数字映射
|
|
|
|
强化学习 RL Reinforcement Learning
|
|
|
|
状态 State 环境的当前情况
|
|
|
|
动作 Action Agent对环境的影响
|
|
--------------------------------------------------
|
|
|
|
# 延伸阅读
|
|
|
|
1. [Gymnasium文档](https://gymnasium.org.cn/)
|
|
|
|
[DeepMind's Embodied AI Research](https://www.deepmind.com/research/embodied) \# 05.3 规划设计应用与MCP
|