2026_DesignAI/chapters/ch05-3d-spatial.tex

\chapter{三维数据——空间与3D}

\section{篇章导读}

三维数据是AI与物理世界之间最直接的桥梁。从建筑到城市规划，从景观到工业设计，空间理解始终是设计实践的核心能力。一架无人机飞过城市上空，激光雷达 (LiDAR) 每秒发射数十万束激光，返回的每一个点都在描述一个真实的空间坐标——这些点汇聚成点云，构成数字世界的三维基础。一个设计师用手机扫描房间，几秒钟后便得到完整的三维模型；一位规划师输入“现代化办公椅”的文本描述，AI便能生成一个可编辑的3D模型。

这些场景不再是科幻。从传统的多视图立体匹配 (MVS) 到神经辐射场 (NeRF)，从三维高斯溅射 (3D Gaussian Splatting) 到大规模空间智能模型，三维AI正在经历从小模型到大模型、从感知到推理的范式跃迁。本章将带你走进三维数据的世界，理解AI如何“看见”和“重建”空间，并探索空间智能在设计领域的广阔应用。


\section{三维数据表示}

\section{学习目标}

\begin{itemize}
\tightlist
\item
  理解四种主要3D数据表示形式的特点与适用场景
\item
  掌握点云、网格、体素、深度图的区别与联系
\item
  了解Open3D等工具的基本使用方法
\end{itemize}

\subsection{为什么需要多种3D表示}

现实世界是三维的，但计算机需要用特定的数据结构来存储和处理3D信息。不同的表示方式在精度、内存效率和处理难度上各有权衡，选择合适的表示方式是3D AI的第一步。

\begin{lstlisting}
物理世界
    ↓ 采集/建模
三维数据 ──→ 点云 (Point Cloud)
          ──→ 网格 (Mesh)
          ──→ 体素 (Voxel)
          ──→ 深度图 (Depth Map)
\end{lstlisting}

\subsection{点云 (Point Cloud)}

\textbf{定义}：一组三维坐标点的集合，每个点包含 (x, y, z) 坐标，可选附加颜色 (r, g, b)、法向量等属性。

\begin{lstlisting}
点云示例：
    ●          ●
       ●    ●
    ●       ●      ●
       ●          ●
          ●    ●

每个点：P = (x, y, z) 或 (x, y, z, r, g, b)
\end{lstlisting}

\textbf{特点}：

\begin{itemize}
\tightlist
\item
  最接近原始传感器数据的表示形式
\item
  不规则、无序、无拓扑关系
\item
  点的数量可变（置换不变性问题）
\item
  适合大规模场景的快速采集
\end{itemize}

\textbf{常见来源}：

\begin{itemize}
\tightlist
\item
  激光雷达 (LiDAR)：自动驾驶、城市扫描
\item
  深度相机 (RGB-D Camera)：室内扫描、物体识别
\item
  摄影测量 (Photogrammetry)：无人机航拍重建
\end{itemize}

\subsection{网格 (Mesh)}

\textbf{定义}：由顶点 (Vertices)、边 (Edges) 和面 (Faces) 组成的多面体表示，是最常见的3D模型格式。

\begin{lstlisting}
网格结构：
    v₁ ──── v₂
    |  ＼   |
    |   f₁  |
    |   ＼  |
    v₃ ──── v₄

顶点：v₁, v₂, v₃, v₄ (各含 x, y, z 坐标)
面：  f₁ = (v₁, v₂, v₃), f₂ = (v₂, v₃, v₄) 等
\end{lstlisting}

\textbf{特点}：

\begin{itemize}
\tightlist
\item
  具有拓扑关系，能表示物体表面
\item
  渲染效率高，是游戏、动画的标准格式
\item
  文件格式：OBJ, STL, PLY, FBX 等
\item
  适合设计建模和可视化
\end{itemize}

\subsection{体素 (Voxel)}

\textbf{定义}：三维空间中的规则网格单元，是二维像素 (Pixel) 在三维空间的推广——``三维像素''。

\begin{lstlisting}
体素网格：
    ┌───┬───┬───┐
    │ 1 │ 0 │ 1 │    1 = 占据
    ├───┼───┼───┤    0 = 空闲
    │ 0 │ 1 │ 0 │
    ├───┼───┼───┤
    │ 1 │ 1 │ 0 │
    └───┴───┴───┘

类似"我的世界"(Minecraft)的方块表示
\end{lstlisting}

\textbf{特点}：

\begin{itemize}
\tightlist
\item
  规则网格结构，可直接使用3D卷积
\item
  内存消耗与分辨率的立方成正比
\item
  分辨率有限时存在“方块效应”
\item
  适合3D卷积神经网络处理
\end{itemize}

\subsection{深度图 (Depth Map)}

\textbf{定义}：二维图像，每个像素存储的是该位置到相机的距离（深度值），也称2.5D表示。

\begin{lstlisting}
深度图：
    ┌─────┬─────┬─────┐
    │ 2.1 │ 2.3 │ 8.5 │    数值 = 到相机的距离
    ├─────┼─────┼─────┤    (单位：米)
    │ 2.0 │ 2.2 │ 9.1 │
    ├─────┼─────┼─────┤
    │ 2.2 │ 2.1 │ 8.8 │
    └─────┴─────┴─────┘

近处物体：深度值小 (2.0)
远处背景：深度值大 (9.1)
\end{lstlisting}

\textbf{特点}：

\begin{itemize}
\tightlist
\item
  本质是二维数组，处理效率高
\item
  只包含单视角的深度信息（不完全的3D）
\item
  可直接与RGB图像对齐
\item
  常见于深度相机（Kinect, RealSense）输出
\end{itemize}

\subsection{四种表示方式对比}

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}
  >{\raggedright\arraybackslash}p{(\linewidth - 8\tabcolsep) * \real{0.0789}}
  >{\raggedright\arraybackslash}p{(\linewidth - 8\tabcolsep) * \real{0.2632}}
  >{\raggedright\arraybackslash}p{(\linewidth - 8\tabcolsep) * \real{0.1842}}
  >{\raggedright\arraybackslash}p{(\linewidth - 8\tabcolsep) * \real{0.1974}}
  >{\raggedright\arraybackslash}p{(\linewidth - 8\tabcolsep) * \real{0.2763}}@{}}
\toprule\noalign{}
\begin{minipage}[b]{\linewidth}\raggedright
特性
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedright
点云 (Point Cloud)
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedright
网格 (Mesh)
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedright
体素 (Voxel)
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedright
深度图 (Depth Map)
\end{minipage} \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
数据结构 & 无序点集 & 顶点 + 面 & 规则3D网格 & 2D数组 \\
内存效率 & 较高 & 高 & 低(立方增长) & 高 \\
分辨率 & 灵活(点密度) & 可调(面数) & 受网格限制 & 受图像分辨率限制 \\
拓扑信息 & 无 & 有 & 隐含 & 无 \\
深度学习适配 & 需特殊处理 & 需转换 & 直接3D卷积 & 直接2D卷积 \\
常见来源 & LiDAR, RGB-D & 建模软件 & 体素化转换 & 深度相机 \\
典型应用 & 场景扫描 & 设计建模 & 3D语义分割 & 室内导航 \\
\end{longtable}
}

\subsection{代码实践：点云加载与可视化}

以下示例使用 Open3D 库加载并可视化一个点云文件：

\begin{lstlisting}[language=Python]
import open3d as o3d
import numpy as np

# 创建一个示例点云（模拟简单的建筑体量）
pcd = o3d.geometry.PointCloud()

# 生成一个"盒子"形状的点云
points = []
# 底面
for x in np.linspace(0, 10, 50):
    for y in np.linspace(0, 8, 40):
        points.append([x, y, 0])
        points.append([x, y, 5])  # 顶面
# 侧面
for x in np.linspace(0, 10, 50):
    for z in np.linspace(0, 5, 25):
        points.append([x, 0, z])
        points.append([x, 8, z])
for y in np.linspace(0, 8, 40):
    for z in np.linspace(0, 5, 25):
        points.append([0, y, z])
        points.append([10, y, z])

pcd.points = o3d.utility.Vector3dVector(np.array(points))

# 统计点云信息
print(f"点云包含 {len(pcd.points)} 个点")
print(f"边界框: {pcd.get_min_bound()} ~ {pcd.get_max_bound()}")

# 可视化
o3d.visualization.draw_geometries(
    [pcd],
    window_name="建筑体量点云",
    width=800, height=600,
    point_show_normal=False
)
\end{lstlisting}

加载真实点云文件（如 PLY 格式）只需一行：

\begin{lstlisting}[language=Python]
pcd = o3d.io.read_point_cloud("building_scan.ply")
o3d.visualization.draw_geometries([pcd])
\end{lstlisting}

\subsection{思考与练习}

\begin{enumerate}
\def\labelenumi{\arabic{enumi}.}
\tightlist
\item
  为什么点云是无序的？这对深度学习模型设计有什么影响？
\item
  如果要表示一个室内场景，哪种3D表示方式最合适？为什么？
\item
  体素的内存消耗与分辨率的关系是什么？分辨率为256\^{}3时有多少个体素？
\end{enumerate}

\subsection{关键术语}

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}lll@{}}
\toprule\noalign{}
中文 & 英文 & 说明 \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
点云 & Point Cloud & 三维坐标点的集合 \\
网格 & Mesh & 顶点、边、面组成的多面体表示 \\
体素 & Voxel & 三维空间中的规则网格单元 \\
深度图 & Depth Map & 存储距离信息的二维图像 \\
激光雷达 & LiDAR & 激光测距传感器 \\
法向量 & Normal Vector & 垂直于表面的方向向量 \\
\end{longtable}
}

\subsection{延伸阅读}

\begin{itemize}
\tightlist
\item
  \href{http://www.open3d.org/docs/}{Open3D 官方文档}
\item
  \href{https://pointclouds.org/}{Point Cloud Library (PCL)}
\end{itemize}


\section{三维理解}

\section{学习目标}

\begin{itemize}
\tightlist
\item
  理解PointNet的核心创新：直接处理点云的置换不变性
\item
  了解三维目标检测与分割的基本方法
\item
  掌握3D理解在设计领域的典型应用场景
\end{itemize}

\subsection{小模型时代的3D理解}

在Transformer等大模型出现之前，3D深度学习主要依赖专门设计的小型网络架构。核心挑战在于：三维数据不像图像那样具有规则的网格结构，无法直接使用标准卷积操作。

\begin{lstlisting}
3D理解的三个核心任务：

输入: 三维数据 (点云/网格/体素/深度图)
    ↓
    ├── 3D分类: "这是什么？" → 类别标签
    ├── 3D检测: "物体在哪？" → 3D边界框 + 类别
    └── 3D分割: "每个部分是什么？" → 逐点/逐体素标签
\end{lstlisting}

\subsection{PointNet (2017)：直接处理点云}

\subsubsection{核心问题}

点云是无序集合。同样的点集，无论以什么顺序输入，输出应该相同——这就是\textbf{置换不变性} (Permutation Invariance)。

\begin{lstlisting}
同一个物体的点云，点的排列顺序不同：

表示1: {P₁, P₂, P₃, ..., Pₙ}
表示2: {P₃, P₁, Pₙ, ..., P₂}  ← 顺序不同
表示3: {Pₙ, Pₙ₋₁, ..., P₁}    ← 完全倒序

期望：f(表示1) = f(表示2) = f(表示3)
\end{lstlisting}

\subsubsection{PointNet的解决方案}

\begin{lstlisting}
输入点云: N × 3 (N个点，每个3个坐标)
    ↓
逐点MLP: 3 → 64 → 128 → 1024  (对每个点独立处理)
    ↓
对称函数: Max Pooling (取每个特征维度的最大值)
    ↓
全局特征: 1 × 1024
    ↓
全连接层 → 分类/分割输出

关键: Max Pooling 天然满足置换不变性
      max(a, b, c) = max(c, a, b) = max(b, c, a)
\end{lstlisting}

\subsubsection{PointNet架构简图}

\begin{lstlisting}
    输入点云          T-Net          MLP          Max Pooling      全连接
    (N×3)    →    (空间变换换)  →  (64→128→1024) →  (1×1024)   →   输出
                      ↑                                ↑
                 对齐输入                         全局特征向量
\end{lstlisting}

\textbf{T-Net}：学习一个空间变换矩阵，将输入点云对齐到规范姿态（类似空间归一化）。

\subsubsection{代码示例：理解PointNet的核心思想}

\begin{lstlisting}[language=Python]
import torch
import torch.nn as nn

class SimplePointNet(nn.Module):
    """简化版PointNet，展示核心思想"""
    def __init__(self, num_classes=10):
        super().__init__()
        # 逐点MLP：对每个点独立提取特征
        self.mlp = nn.Sequential(
            nn.Linear(3, 64),
            nn.ReLU(),
            nn.Linear(64, 128),
            nn.ReLU(),
            nn.Linear(128, 1024)
        )
        # 分类头
        self.classifier = nn.Sequential(
            nn.Linear(1024, 512),
            nn.ReLU(),
            nn.Dropout(0.3),
            nn.Linear(512, num_classes)
        )

    def forward(self, x):
        # x: (batch_size, num_points, 3)
        x = self.mlp(x)        # (B, N, 1024)
        x = torch.max(x, dim=1)[0]  # (B, 1024) ← 对称函数！
        x = self.classifier(x)  # (B, num_classes)
        return x

# 测试置换不变性
model = SimplePointNet(num_classes=5)
points = torch.randn(1, 100, 3)  # 1个样本，100个点

# 原始顺序
out1 = model(points)
# 随机打乱顺序
perm = torch.randperm(100)
out2 = model(points[:, perm, :])

print(f"输出差异: {torch.max(torch.abs(out1 - out2)).item():.6f}")
# 输出差异应接近0 —— 置换不变性！
\end{lstlisting}

\subsection{PointNet++：层次化点集学习}

PointNet将所有点直接映射为全局特征，缺乏捕捉局部结构的能力。PointNet++引入了层次化 (Hierarchical) 结构：

\begin{lstlisting}
PointNet:   所有点 ──→ 全局特征      (单层，无局部结构)

PointNet++: 点集 → 局部区域1 → 局部区域2 → ... → 全局特征
                  ↑ 每层都是一个小PointNet
                  ↑ 逐步扩大感受野
\end{lstlisting}

\begin{lstlisting}
层次化处理流程：
    输入: N个点
    ↓ 采样 + 分组 (Ball Query)
    N个局部区域 (每个含K个点)
    ↓ 对每个区域用 PointNet
    N'个新的特征点
    ↓ 采样 + 分组
    更少的局部区域
    ↓ 对每个区域用 PointNet
    全局特征
\end{lstlisting}

\textbf{核心改进}：

\begin{itemize}
\tightlist
\item
  \textbf{最远点采样 (Farthest Point Sampling)}：均匀选取中心点
\item
  \textbf{球查询 (Ball Query)}：查找半径范围内的邻域点
\item
  \textbf{多尺度分组 (MSG)}：不同半径捕捉不同尺度的局部特征
\end{itemize}

\subsection{基于体素的3D CNN}

另一种思路是将不规则3D数据转换为规则网格，然后使用3D卷积：

\begin{lstlisting}
点云/网格
    ↓ 体素化 (Voxelization)
规则体素网格 (如 32×32×32)
    ↓ 3D卷积
3D特征图
    ↓ 分类/检测/分割

2D卷积核:  H × W          (如 3×3)
3D卷积核:  D × H × W      (如 3×3×3)
\end{lstlisting}

\textbf{优势}：可直接利用成熟的CNN框架

\textbf{劣势}：内存消耗大（分辨率立方增长）、量化损失

\subsection{三维目标检测与分割}

\subsubsection{3D目标检测}

\begin{lstlisting}
输入: 3D场景 (点云/体素)
    ↓
3D检测器
    ↓
输出: 3D边界框 [(x, y, z, l, w, h, θ, class), ...]
       位置   长宽高  朝向  类别
\end{lstlisting}

代表性方法：

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}lll@{}}
\toprule\noalign{}
方法 & 类型 & 特点 \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
VoteNet (2019) & 点云投票 & 从点云直接预测3D框 \\
PointPillars (2019) & 点云→伪图像 & 高效的激光雷达检测 \\
VoxelNet (2018) & 体素化 & 端到端3D检测 \\
CenterPoint (2021) & 中心点检测 & 以中心 heatmap 方式检测 \\
\end{longtable}
}

\subsubsection{3D语义分割}

\begin{lstlisting}
室内场景点云
    ↓ 逐点分类
[墙壁, 墙壁, 地板, 地板, 椅子, 椅子, 桌子, ...]
    ↓
每个点获得语义标签
\end{lstlisting}

\subsection{设计应用}

\subsubsection{建筑足迹提取}

\begin{lstlisting}
无人机激光扫描
    ↓
3D点云数据
    ↓ PointNet++ / 语义分割
地面点 | 建筑点 | 植被点
    ↓
建筑足迹向量 (可导入GIS/CAD)
\end{lstlisting}

\subsubsection{地形分类}

\begin{lstlisting}
LiDAR地形扫描
    ↓ 3D语义分割
分类结果: [裸地, 草地, 灌木, 林地, 水体, 道路]
    ↓
用于景观规划、生态评估
\end{lstlisting}

\subsubsection{室内场景理解}

\begin{lstlisting}
深度相机扫描
    ↓ 3D实例分割
[墙1, 墙2, 地板, 天花板, 沙发, 桌子, 椅子1, 椅子2]
    ↓
自动生成室内平面图和家具布局
\end{lstlisting}

\subsection{思考与练习}

\begin{enumerate}
\def\labelenumi{\arabic{enumi}.}
\tightlist
\item
  PointNet的Max Pooling为什么能满足置换不变性？除了Max Pooling，还有哪些对称函数？
\item
  体素表示为什么内存消耗大？如果场景中有大量空白区域，如何优化？
\item
  设计一个用PointNet对建筑风格进行分类的方案，需要哪些数据和步骤？
\end{enumerate}

\subsection{关键术语}

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}lll@{}}
\toprule\noalign{}
中文 & 英文 & 说明 \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
置换不变性 & Permutation Invariance & 输入顺序不影响输出 \\
对称函数 & Symmetric Function & 对输入顺序不敏感的函数 \\
最远点采样 & Farthest Point Sampling & 均匀选取代表点 \\
球查询 & Ball Query & 查找半径内的邻域点 \\
3D边界框 & 3D Bounding Box & 三维空间中的矩形框 \\
体素化 & Voxelization & 将不规则数据转为规则体素 \\
\end{longtable}
}

\subsection{延伸阅读}

\begin{itemize}
\tightlist
\item
  \href{https://arxiv.org/abs/1612.00593}{PointNet: Deep Learning on Point Sets (Qi et al., 2017)}
\item
  \href{https://arxiv.org/abs/1706.02413}{PointNet++: Deep Hierarchical Feature Learning (Qi et al., 2017)}
\end{itemize}


\section{三维重建与生成}

\section{学习目标}

\begin{itemize}
\tightlist
\item
  理解传统3D重建方法（SfM、MVS）的基本原理
\item
  掌握NeRF和3D Gaussian Splatting的核心思想
\item
  了解Text-to-3D和Image-to-3D生成模型的发展
\end{itemize}

\subsection{从传统方法到神经渲染}

三维重建是从2D图像或传感器数据中恢复3D场景的过程。从传统几何方法到深度学习驱动的方法，这一领域经历了革命性的变化。

\begin{lstlisting}
3D重建方法演进：

传统几何方法 (2000s)
    SfM → MVS → 稠密点云
    ↓
深度学习增强 (2015+)
    学习型MVS → 更鲁棒的重建
    ↓
神经渲染 (2020)
    NeRF: 神经网络隐式表示场景
    ↓
显式表示复兴 (2023)
    3D Gaussian Splatting: 高效实时渲染
    ↓
3D大模型生成 (2023+)
    Text-to-3D / Image-to-3D
\end{lstlisting}

\subsection{传统方法}

\subsubsection{Structure from Motion (SfM，运动恢复结构)}

\textbf{核心思想}：从一系列不同角度拍摄的2D照片中，同时恢复相机的位置 (运动) 和场景的3D结构。

\begin{lstlisting}
SfM流程：
    多张照片 (不同角度)
        ↓ 特征提取与匹配
    特征对应关系
        ↓ 几何约束求解
    相机位姿 (位置+朝向)
        ↓ 三角测量
    稀疏3D点云
\end{lstlisting}

\begin{lstlisting}
相机1              场景点P             相机2
  ○ ──────── x ←───────→ x ────────── ○
     光线1              光线2
        ╲              ╱
         ╲            ╱
          ╲  交点=   ╱
           ╲ P的3D ╱
            位置  ╱
\end{lstlisting}

\textbf{关键步骤}：

\begin{enumerate}
\def\labelenumi{\arabic{enumi}.}
\tightlist
\item
  \textbf{特征检测}：SIFT/SUPERPOINT等算法检测每张图片的关键特征
\item
  \textbf{特征匹配}：在不同图片之间找到相同的特征点
\item
  \textbf{运动估计}：根据匹配关系计算相机运动
\item
  \textbf{三角测量}：利用两个视角的射线交汇得到3D坐标
\end{enumerate}

\subsubsection{Multi-View Stereo (MVS，多视图立体匹配)}

SfM只产生稀疏点云，MVS则在此基础上生成稠密重建：

\begin{lstlisting}
SfM稀疏点云
    ↓
MVS稠密匹配
    ↓
稠密点云 / 深度图
    ↓
表面重建 (Poisson, Delaunay)
    ↓
完整3D网格模型
\end{lstlisting}

\textbf{局限性}：

\begin{itemize}
\tightlist
\item
  对纹理缺乏区域（白墙、玻璃）重建效果差
\item
  计算耗时较长
\item
  难以处理反光、透明材质
\end{itemize}

\subsection{NeRF (Neural Radiance Fields，神经辐射场)}

2020年，加州大学伯克利分校的研究团队提出了NeRF，彻底改变了3D重建的范式。

\subsubsection{核心思想}

不再显式存储3D模型（点云/网格），而是用一个神经网络来“记住”整个三维场景：

\begin{lstlisting}
传统: 场景 → 存储为点云/网格/体素
NeRF:  场景 → 训练一个神经网络

网络输入:  (x, y, z, θ, φ)
           3D坐标    观察方向
网络输出:  (r, g, b, σ)
           颜色     密度
\end{lstlisting}

\begin{lstlisting}
                    ┌──────────────────┐
(x,y,z,θ,φ) ────→ │      MLP         │ ────→ (r, g, b)
  空间位置+视角     │  (8-12层, 256宽)  │
                    │                  │ ────→ σ (密度)
                    └──────────────────┘

σ 控制该点是否"有物体"：
  σ ≈ 0 → 空气（光线直接穿过）
  σ ≈ 大 → 实体（光线被吸收/着色）
\end{lstlisting}

\subsubsection{体渲染 (Volume Rendering)}

NeRF通过体渲染将3D神经场合成为2D图像：

\begin{lstlisting}
对于图像上的每个像素:
    ↓
从相机发射一条光线穿过场景
    ↓
沿光线采样多个3D点
    ↓
对每个点查询NeRF网络得到(颜色, 密度)
    ↓
沿光线积分 → 像素颜色

C(r) = ∫ T(t) · σ(t) · c(t) dt

其中 T(t) = exp(-∫ σ(s) ds) 是透射率
\end{lstlisting}

直观理解：

\begin{lstlisting}
相机 ──光线──→ ●密度高(墙) ──→ ●密度低(窗) ──→ ●密度高(树)
               颜色=灰色        颜色=透明       颜色=绿色
                   ↓                ↓                ↓
              最终权重=高        权重=低          权重=中
                   ↓
              最终像素颜色 = 加权混合
\end{lstlisting}

\subsubsection{训练过程}

\begin{lstlisting}
输入: 多张不同角度的照片 + 相机参数
    ↓
对每张照片的每个像素:
    1. 发射光线
    2. 采样3D点，查询MLP
    3. 体渲染得到预测颜色
    ↓
计算损失: L = ||预测颜色 - 真实像素颜色||²
    ↓
反向传播，更新MLP权重
    ↓
重复数万次 → MLP"记住"了整个场景
\end{lstlisting}

\subsubsection{NeRF的优势与局限}

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}ll@{}}
\toprule\noalign{}
优势 & 局限 \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
重建质量极高 & 训练慢（数小时/场景） \\
能处理复杂光照 & 渲染慢（逐光线查询MLP） \\
连续表示，无分辨率限制 & 难以编辑/修改 \\
不需要网格/纹理等显式表示 & 泛化能力有限（每场景训练） \\
\end{longtable}
}

\subsection{3D Gaussian Splatting (三维高斯溅射, 2023)}

NeRF的隐式表示虽然质量高，但速度慢、难以编辑。3D Gaussian Splatting (3DGS) 用显式的高斯椭球体取代了隐式神经网络，实现了实时渲染。

\subsubsection{核心思想}

场景由大量3D高斯椭球体组成，每个高斯体具有：

\begin{lstlisting}
一个3D高斯体的属性：
    - 位置 μ = (x, y, z)           ← 在哪
    - 协方差 Σ (旋转+缩放)          ← 形状
    - 不透明度 α                    ← 透明度
    - 球谐系数 SH                   ← 颜色（依赖视角）

数学表示:
    G(x) = exp(-½(x-μ)ᵀ Σ⁻¹ (x-μ))
\end{lstlisting}

\begin{lstlisting}
场景表示：
    ● = 高斯体1 (椭圆，浅蓝，半透明)
     ● = 高斯体2 (圆形，深蓝，不透明)
      ● = 高斯体3 (扁平，白色，透明)
       ● = ...
        成千上万个高斯体叠加 → 完整场景
\end{lstlisting}

\subsubsection{Splatting（溅射）过程}

\begin{lstlisting}
3D高斯体 → 投影到2D图像平面 → 排序 → 混合 → 最终图像

名称由来: 像把"颜料"溅射 (Splat) 到画布上
\end{lstlisting}

\begin{lstlisting}
          3D空间              2D图像
       ●  ● ●              ┌─────────┐
      ● ● ● ● ●   投影→    │ 渲染结果 │
       ● ● ●               │  (实时)  │
        ● ●                └─────────┘

3D高斯体 ──→ 2D椭圆 ──→ 按深度排序 ──→ Alpha混合
\end{lstlisting}

\subsubsection{3DGS vs NeRF}\label{dgs-vs-nerf}

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}lll@{}}
\toprule\noalign{}
特性 & NeRF & 3D Gaussian Splatting \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
场景表示 & 隐式 (MLP权重) & 显式 (高斯体集合) \\
训练时间 & 数小时 & 数分钟到数十分钟 \\
渲染速度 & 慢（逐点查询） & 实时（\textgreater100 FPS） \\
渲染质量 & 高 & 高（相当或更好） \\
可编辑性 & 困难 & 可以操作高斯体 \\
存储 & 小（网络权重） & 较大（百万高斯体） \\
\end{longtable}
}

\subsection{3D生成模型}

从2023年开始，AI不仅能“重建”已有场景，还能从零“生成”新的3D内容。

\subsubsection{Text-to-3D (文本生成3D)}

\begin{lstlisting}
文本描述 → 3D生成模型 → 3D模型

示例:
"a modern office chair with armrests"
    → 可编辑的3D办公椅模型

"a traditional Chinese pavilion"
    → 中国古亭的3D模型
\end{lstlisting}

\subsubsection{Image-to-3D (图像生成3D)}

\begin{lstlisting}
单张照片 → 3D生成模型 → 3D模型

示例:
一张建筑立面照片 → 完整的3D建筑模型
一张产品照片 → 360°可旋转的3D模型
\end{lstlisting}

\subsubsection{代表性方法}

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}lllll@{}}
\toprule\noalign{}
模型 & 年份 & 输入 & 方法 & 特点 \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
DreamFusion & 2022 & 文本 & SDS + NeRF & 首个高质量Text-to-3D \\
Point-E & 2022 & 文本 & 扩散模型→点云 & 速度快，质量一般 \\
Shap-E & 2023 & 文本/图像 & 扩散模型→隐式函数 & 支持3D和纹理 \\
LRM & 2023 & 图像 & Transformer & 大规模重建模型 \\
TripoSR & 2024 & 图像 & Transformer+NeRF & 开源，快速单图重建 \\
CLAY & 2024 & 文本 & 大型3D原生模型 & 设计级3D生成 \\
Trellis & 2024 & 文本/图像 & 结构化隐式+高斯 & 高质量，可编辑 \\
\end{longtable}
}

\subsubsection{DreamFusion的SDS原理 (Score Distillation Sampling)}

DreamFusion的核心创新在于：利用预训练的2D扩散模型来指导3D生成。

\begin{lstlisting}
思路：
    2D扩散模型懂得"什么图像是合理的"
    → 让它来"指导"3D模型的渲染结果

    随机初始化的NeRF
        ↓ 渲染为2D图像
    2D扩散模型评估并给出梯度
        ↓ 更新NeRF参数
    反复迭代
        ↓
    NeRF渲染出的图像越来越好
    → NeRF本身就是一个好的3D模型
\end{lstlisting}

\subsection{代码示例：简化版NeRF概念实现}

以下代码展示NeRF的核心组件——一个将3D坐标和观察方向映射为颜色和密度的MLP：

\begin{lstlisting}[language=Python]
import torch
import torch.nn as nn

class SimpleNeRF(nn.Module):
    """简化版NeRF，展示核心映射思想"""
    def __init__(self, pos_dim=3, dir_dim=3, hidden=64):
        super().__init__()
        # 位置编码 (Positional Encoding) 提升高频细节
        self.pos_encode_freq = 6  # 编码频率数

        # 编码后的维度: 3 × 2 × 6 = 36 (sin+cos, 6个频率)
        encoded_pos_dim = pos_dim * 2 * self.pos_encode_freq

        # 主干网络: 处理空间位置
        self.backbone = nn.Sequential(
            nn.Linear(encoded_pos_dim, hidden),
            nn.ReLU(),
            nn.Linear(hidden, hidden),
            nn.ReLU(),
            nn.Linear(hidden, hidden),
            nn.ReLU(),
        )
        # 密度分支: 从位置预测密度
        self.density_head = nn.Linear(hidden, 1)
        # 颜色分支: 从位置+方向预测颜色
        self.color_head = nn.Sequential(
            nn.Linear(hidden + dir_dim, hidden // 2),
            nn.ReLU(),
            nn.Linear(hidden // 2, 3),
            nn.Sigmoid()  # 颜色值在[0,1]
        )

    def positional_encoding(self, x):
        """位置编码: 让MLP能学习高频细节"""
        encoded = []
        for freq in range(self.pos_encode_freq):
            for fn in [torch.sin, torch.cos]:
                encoded.append(fn(2**freq * x))
        return torch.cat(encoded, dim=-1)

    def forward(self, positions, directions):
        """
        positions: (B, 3) - 3D空间坐标
        directions: (B, 3) - 观察方向
        """
        # 位置编码
        encoded_pos = self.positional_encoding(positions)
        # 提取特征
        features = self.backbone(encoded_pos)
        # 预测密度
        density = self.density_head(features)  # (B, 1)
        # 预测颜色 (依赖位置和观察方向)
        color = self.color_head(
            torch.cat([features, directions], dim=-1)
        )  # (B, 3)
        return color, density


# 演示: 查询一个空间点的颜色和密度
model = SimpleNeRF()
pos = torch.randn(100, 3)   # 100个空间点
dir = torch.randn(100, 3)   # 100个观察方向
dir = dir / dir.norm(dim=-1, keepdim=True)  # 归一化方向

color, density = model(pos, dir)
print(f"颜色范围: [{color.min():.3f}, {color.max():.3f}]")
print(f"密度范围: [{density.min():.3f}, {density.max():.3f}]")
print(f"颜色形状: {color.shape}, 密度形状: {density.shape}")
\end{lstlisting}

\subsection{思考与练习}

\begin{enumerate}
\def\labelenumi{\arabic{enumi}.}
\tightlist
\item
  NeRF中位置编码 (Positional Encoding) 的作用是什么？没有它会发生什么？
\item
  3D Gaussian Splatting 为什么比NeRF渲染速度快？从数据结构的角度分析。
\item
  如果要为一个建筑外观设计项目选择3D重建方案，你会选择NeRF还是3DGS？为什么？
\end{enumerate}

\subsection{关键术语}

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}
  >{\raggedright\arraybackslash}p{(\linewidth - 4\tabcolsep) * \real{0.3333}}
  >{\raggedright\arraybackslash}p{(\linewidth - 4\tabcolsep) * \real{0.3333}}
  >{\raggedright\arraybackslash}p{(\linewidth - 4\tabcolsep) * \real{0.3333}}@{}}
\toprule\noalign{}
\begin{minipage}[b]{\linewidth}\raggedright
中文
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedright
英文
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedright
说明
\end{minipage} \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
神经辐射场 & NeRF & 用MLP隐式表示3D场景 \\
体渲染 & Volume Rendering & 沿光线积分合成图像 \\
三维高斯溅射 & 3D Gaussian Splatting & 用高斯椭球体显式表示场景 \\
运动恢复结构 & Structure from Motion (SfM) & 从照片恢复3D结构和相机位姿 \\
多视图立体匹配 & Multi-View Stereo (MVS) & 从多视角生成稠密3D重建 \\
位置编码 & Positional Encoding & 用三角函数提升高频细节表达 \\
\end{longtable}
}

\subsection{延伸阅读}

\begin{itemize}
\tightlist
\item
  \href{https://arxiv.org/abs/2003.08934}{NeRF: Representing Scenes as Neural Radiance Fields (Mildenhall et al., 2020)}
\item
  \href{https://arxiv.org/abs/2308.04079}{3D Gaussian Splatting for Real-Time Radiance Field Rendering (Kerbl et al., 2023)}
\item
  \href{https://arxiv.org/abs/2209.14988}{DreamFusion: Text-to-3D using 2D Diffusion (Poole et al., 2022)}
\end{itemize}


\section{空间智能}

\section{学习目标}

\begin{itemize}
\tightlist
\item
  理解空间智能的概念及其对设计领域的意义
\item
  了解多模态空间推理和场景理解的前沿方向
\item
  掌握数字孪生的四个演进层次
\item
  认识GIS+AI的融合趋势
\end{itemize}

\subsection{从3D感知到空间推理}

前两节我们学习了AI如何“感知”和“重建”三维世界。空间智能 (Spatial Intelligence) 则更进一步——不仅要感知空间，还要理解和推理空间中的关系、规律与语义。

\begin{lstlisting}
3D能力层次：

感知层: 识别物体和几何形状
    ↓
理解层: 理解空间语义（这是什么空间？功能是什么？）
    ↓
推理层: 空间关系推理（A在B的左边，C挡住了D的视线）
    ↓
规划层: 基于空间理解进行决策和设计
\end{lstlisting}

\textbf{为什么空间智能对设计至关重要？}

设计本质上是空间思维的活动——建筑师需要理解空间的比例与流线，景观设计师需要分析地形与视廊，城市规划师需要把握城市形态与功能关系。AI如果能够理解空间，就能成为设计过程中的真正协作伙伴。

\subsection{多模态空间推理}

\subsubsection{概念}

将视觉信息、语言描述和三维空间理解结合起来，进行空间相关的推理和问答。

\begin{lstlisting}
输入: 一张室内照片 + 问题 "沙发后面是什么？"
    ↓ 多模态空间推理
输出: "沙发后面是一面挂画的白墙"
\end{lstlisting}

\begin{lstlisting}
多模态空间推理框架:

    视觉模态 ──→ 视觉编码器 ──┐
                              ├──→ 空间推理模块 ──→ 回答/决策
    语言模态 ──→ 语言编码器 ──┤
                              │
    3D模态   ──→ 3D编码器   ──┘
  (点云/网格)
\end{lstlisting}

\subsubsection{空间推理任务类型}

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}llll@{}}
\toprule\noalign{}
任务 & 输入 & 输出 & 示例 \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
空间问答 (Spatial QA) & 图像 + 问题 & 文字答案 & ``这栋建筑有几层？'' \\
空间关系描述 & 3D场景 & 关系三元组 & (树, 在\ldots 前面, 建筑) \\
导航指令 & 语言指令 & 路径/动作 & ``走到窗边左转'' \\
场景变化检测 & 两个时刻的场景 & 变化描述 & ``左侧新增了一棵树'' \\
\end{longtable}
}

\subsection{场景理解}

场景理解是对一个完整空间的多层次分析：

\begin{lstlisting}
场景理解三层次:

    语义理解 (Semantic)
    ┌─────────────────────────────────────────────┐
    │ 这是什么？每个部分的功能是什么？              │
    │ "这是客厅" "那是厨房" "这是走廊"           │
    └─────────────────────────────────────────────┘

    几何理解 (Geometric)
    ┌─────────────────────────────────────────────┐
    │ 空间的几何属性是什么？                        │
    │ 面积、高度、距离、角度、曲率                  │
    └─────────────────────────────────────────────┘

    关系理解 (Relational)
    ┌─────────────────────────────────────────────┐
    │ 物体之间的关系是什么？                        │
    │ A在B的上方、C连接D、E包围F                   │
    └─────────────────────────────────────────────┘
\end{lstlisting}

\subsubsection{具体任务}

\begin{itemize}
\tightlist
\item
  \textbf{语义分割}：每个区域的功能标注（居住、商业、绿地\ldots）
\item
  \textbf{布局估计}：房间的结构（墙壁、门窗位置）
\item
  \textbf{物体关系图}：构建场景中物体之间的空间关系图
\end{itemize}

\begin{lstlisting}
场景图 (Scene Graph):

    [桌子] ──在上面──→ [电脑]
      │                    │
    在旁边               连接到
      ↓                    ↓
    [椅子]              [显示器]
      │
    在下面
      ↓
    [地毯]
\end{lstlisting}

\subsection{大型空间模型}

大型空间模型 (Large Spatial Models) 是一个新兴研究方向，旨在将大语言模型的推理能力与空间数据相结合。

\begin{lstlisting}
大语言模型 (LLM):  擅长语言理解与推理
    +
空间数据/模型:     擅长空间感知与几何计算
    ↓
大型空间模型:      能理解和推理空间信息

类比:
    LLM 是"能说话的大脑"
    视觉模型是"能看的眼睛"
    大型空间模型是"能理解空间的身体"
\end{lstlisting}

\subsubsection{代表性工作}

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}lll@{}}
\toprule\noalign{}
方向 & 代表工作 & 描述 \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
3D-LLM & 3D-LLM (2023) & 将3D场景编码后输入LLM进行推理 \\
空间问答 & SQA3D (2023) & 基于3D场景的问答基准 \\
具身导航 & CLIPORT (2022) & 语言指导的机器人操作 \\
场景生成 & SceneCraft (2024) & LLM驱动的场景布局生成 \\
\end{longtable}
}

\subsection{GIS + AI：智能地理分析}

地理信息系统 (Geographic Information System, GIS) 是空间设计的核心工具。AI正在重塑GIS的分析能力。

\begin{lstlisting}
传统GIS:
    数据采集 → 存储 → 可视化 → 人工分析

AI增强GIS:
    数据采集 → 自动标注 → 智能分析 → 预测模拟 → 决策支持
                ↑              ↑            ↑
            深度学习       空间推理      时空预测
\end{lstlisting}

\subsubsection{AI+GIS的典型应用}

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}lll@{}}
\toprule\noalign{}
应用场景 & AI技术 & 设计意义 \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
地物分类 & 语义分割 & 自动提取建筑、道路、水体 \\
城市形态分析 & 深度学习 & 自动识别街区类型和肌理 \\
地形分析 & 点云分割 & 坡度、坡向、汇水分析 \\
变化检测 & 孪生网络 & 监测城市扩张和土地利用变化 \\
选址分析 & 多因子评价 & AI辅助最优选址决策 \\
交通模拟 & 图神经网络 & 预测交通流量和拥堵 \\
\end{longtable}
}

\subsection{数字孪生的演进}

数字孪生 (Digital Twin) 是空间智能的终极目标——在数字世界中完整复制物理空间。

\begin{lstlisting}
数字孪生的四个层次:

1. 几何孪生 (Geometric Twin)
   ┌───────────────────────────────────┐
   │ 精确的3D几何模型                   │
   │ 例: 建筑BIM模型、城市3D白模        │
   │ 静态的形状与空间关系                │
   └───────────────────────────────────┘
            ↓

2. 物理孪生 (Physical Twin)
   ┌───────────────────────────────────┐
   │ 叠加物理属性与仿真                  │
   │ 例: 结构力学模拟、日照分析          │
   │ 可以模拟物理过程                    │
   └───────────────────────────────────┘
            ↓

3. 行为孪生 (Behavioral Twin)
   ┌───────────────────────────────────┐
   │ 实时数据驱动的动态模型              │
   │ 例: 实时人流监测、能耗数据          │
   │ 反映当前状态和行为模式              │
   └───────────────────────────────────┘
            ↓

4. 认知孪生 (Cognitive Twin)
   ┌───────────────────────────────────┐
   │ 具备推理和决策能力                  │
   │ 例: AI分析异常、推荐优化方案        │
   │ 能"思考"和"建议"                   │
   └───────────────────────────────────┘
\end{lstlisting}

\subsubsection{设计领域的数字孪生案例}

\begin{itemize}
\tightlist
\item
  \textbf{建筑数字孪生}：从BIM模型到实时运维管理，结合IoT传感器数据监测建筑健康状态
\item
  \textbf{城市数字孪生}：新加坡Virtual Singapore项目，完整的城市级数字孪生平台
\item
  \textbf{景观数字孪生}：结合生态模型模拟植被生长、水文过程、生物多样性
\end{itemize}

\subsection{思考与练习}

\begin{enumerate}
\def\labelenumi{\arabic{enumi}.}
\tightlist
\item
  空间智能与2D图像理解的核心区别是什么？为什么空间推理需要三维信息？
\item
  数字孪生的四个层次在设计实践中分别对应哪些具体工具和方法？
\item
  设想一个“认知孪生”校园，它能做哪些事情？需要哪些技术支撑？
\end{enumerate}

\subsection{关键术语}

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}lll@{}}
\toprule\noalign{}
中文 & 英文 & 说明 \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
空间智能 & Spatial Intelligence & 理解和推理空间关系的能力 \\
多模态推理 & Multi-modal Reasoning & 融合多种信息模态进行推理 \\
场景图 & Scene Graph & 描述物体间关系的图结构 \\
大型空间模型 & Large Spatial Model & 结合LLM与空间数据的模型 \\
数字孪生 & Digital Twin & 物理空间的数字副本 \\
地理信息系统 & GIS & 地理空间数据管理系统 \\
\end{longtable}
}

\subsection{延伸阅读}

\begin{itemize}
\tightlist
\item
  \href{https://arxiv.org/abs/2307.12981}{3D-LLM: Injecting 3D World into LLMs (Hong et al., 2023)}
\item
  \href{https://arxiv.org/abs/2305.14086}{SQA3D: Situated Question Answering in 3D Scenes (Ma et al., 2023)}
\item
  \href{https://learn.microsoft.com/en-us/azure/digital-twins/}{Microsoft Digital Twins}
\end{itemize}


\section{设计应用}

\section{学习目标}

\begin{itemize}
\tightlist
\item
  了解3D AI在建筑设计、景观设计、城市设计等领域的综合应用
\item
  理解从数据采集到设计迭代的完整工作流
\item
  掌握实际项目中3D技术的选型思路
\end{itemize}

\subsection{建筑：从概念到三维模型}

\subsubsection{概念草图到3D模型}

\begin{lstlisting}
设计师手绘草图
    ↓ AI理解 (2D → 3D)
3D概念体量模型
    ↓ 参数化调整
优化方案
    ↓ BIM生成
完整建筑信息模型
\end{lstlisting}

\textbf{关键技术}：

\begin{itemize}
\tightlist
\item
  草图理解：深度学习识别建筑平面图中的墙体、门窗、空间
\item
  3D生成：Image-to-3D模型将草图转化为体量模型
\item
  参数化设计：AI根据设计约束（面积、高度、朝向）自动调整参数
\end{itemize}

\subsubsection{自动化BIM生成}

\begin{lstlisting}
无人机扫描既有建筑
    ↓ 3D重建 (NeRF/3DGS)
点云/网格模型
    ↓ 语义分割
识别: 墙体、楼板、梁柱、门窗
    ↓ 自动建模
Revit/ArchiCAD BIM模型
    ↓ 工程应用
结构分析 / 能耗模拟 / 施工管理
\end{lstlisting}

\subsubsection{设计迭代辅助}

\begin{lstlisting}
设计约束: 面积≥500m², 层数≤6, 日照≥2h/天
    ↓
AI生成多个满足约束的体量方案
    ↓
设计师选择并微调
    ↓
AI实时反馈: 容积率、日照、风环境
\end{lstlisting}

\subsection{景观：从地形到生态}

\subsubsection{地形分析}

\begin{lstlisting}
无人机航拍
    ↓ 摄影测量 / LiDAR
DEM (数字高程模型)
    ↓ AI地形分析
    ├── 坡度分级图
    ├── 坡向分析图
    ├── 汇水流域图
    └── 视域分析图
\end{lstlisting}

\subsubsection{植被模拟}

\begin{lstlisting}
当前场地点云
    ↓ 3D语义分割
识别现有植被（树种、冠幅、高度）
    ↓ 生长模型 + AI预测
模拟5年/10年/20年后的植被状态
    ↓
辅助种植设计决策
\end{lstlisting}

\subsubsection{视廊分析}

\begin{lstlisting}
3D城市模型 + 观察点
    ↓ 视线追踪算法
计算每个区域的可见度
    ↓ 生成视域图 (Viewshed)
    ├── 确定最佳观景点
    ├── 保护重要景观视廊
    └── 评估新建建筑对景观的影响
\end{lstlisting}

\subsection{城市设计：数字孪生城市}

\subsubsection{从无人机航拍到3D城市模型}

\textbf{完整工作流案例}：

\begin{lstlisting}
Step 1: 数据采集
    无人机搭载相机/LiDAR
    覆盖1km²区域，重叠率70%+
    ↓

Step 2: 3D重建
    照片 → SfM → 稀疏点云
         → MVS → 稠密点云
         → 网格重建 → 纹理映射
    或: 照片 → 3DGS → 实时渲染场景
    ↓

Step 3: 语义理解
    点云/网格 → 3D语义分割
    识别: 建筑、道路、植被、水体、地面
    ↓

Step 4: 城市分析
    ├── 城市形态: 建筑密度、高度分布、街区肌理
    ├── 开放空间: 绿地可达性、公共空间品质
    ├── 交通网络: 道路连通性、步行友好度
    └── 微气候: 日照、风环境、热岛效应
    ↓

Step 5: 决策支持
    方案对比模拟 → 可视化呈现 → 辅助规划决策
\end{lstlisting}

\subsubsection{城市形态分析}

\begin{lstlisting}
3D城市模型
    ↓ AI自动提取
建筑轮廓 + 高度 + 功能
    ↓ 形态学分析
    ├── 街道宽高比 (D/H)
    ├── 建筑密度 (FAR)
    ├── 天际线分析
    └── 街区类型分类
    ↓
城市设计导则制定
\end{lstlisting}

\subsection{室内设计：从扫描到设计}

\subsubsection{室内设计全流程}

\begin{lstlisting}
Step 1: 房间扫描
    手机/深度相机扫描
    ↓
    实时3D重建 (如 LiDAR iPad/iPhone)
    ↓
    完整室内点云/网格
    ↓

Step 2: 场景理解
    3D语义分割
    ↓
    识别: 墙壁、地面、天花板、门窗、现有家具
    ↓
    自动生成户型图 + 尺寸标注
    ↓

Step 3: 设计生成
    输入: 户型图 + 风格偏好 + 预算
    ↓ AI辅助
    生成多个布局方案 (2D + 3D)
    ↓
    材质搭配 + 灯光设计
    ↓

Step 4: 可视化与迭代
    实时3D渲染 / VR预览
    ↓
    设计师/客户反馈 → AI调整
    ↓
    最终方案
\end{lstlisting}

\subsection{工业设计：逆向工程与再设计}

\subsubsection{产品扫描到再设计}

\begin{lstlisting}
现有产品 (如: 经典椅子)
    ↓ 3D扫描 (结构光/激光)
高精度点云/网格
    ↓
    ├── 逆向工程: 提取设计参数
    │   曲面分析、人机工程参数
    │
    ├── 缺陷检测: 识别磨损/变形区域
    │   为改良设计提供依据
    │
    └── AI再设计: 基于原始形态生成变体
        "保留经典轮廓，增加人体工学支撑"
\end{lstlisting}

\begin{lstlisting}
3D扫描模型
    ↓ AI分析
特征提取 (曲率、对称性、风格特征)
    ↓ 参数化表示
    ↓ 生成式设计
新的变体方案
    ↓
    ├── 拓扑优化 (减重、增强)
    ├── 可制造性分析 (3D打印/CNC)
    └── 风格迁移 (保留功能，改变风格)
\end{lstlisting}

\subsection{综合案例：从无人机航测到3D城市模型}

以下代码展示一个简化但完整的城市3D重建工作流：

\begin{lstlisting}[language=Python]
import open3d as o3d
import numpy as np

# ===== Step 1: 加载无人机航测生成的点云 =====
# 实际项目中由COLMAP/OpenMVS/Pix4D等工具从照片生成
pcd = o3d.io.read_point_cloud("aerial_survey.ply")

# ===== Step 2: 点云预处理 =====
# 下采样 (减少点数，保留结构)
pcd_down = pcd.voxel_down_sample(voxel_size=0.05)

# 去除噪声点 (统计滤波)
pcd_clean, _ = pcd_down.remove_statistical_outlier(
    nb_neighbors=20, std_ratio=2.0
)

# 估计法向量
pcd_clean.estimate_normals(
    search_param=o3d.geometry.KDTreeSearchParamHybrid(
        radius=0.1, max_nn=30
    )
)

print(f"处理后点数: {len(pcd_clean.points)}")

# ===== Step 3: 地面分割 (简化版) =====
points = np.asarray(pcd_clean.points)

# 用高度阈值简单分割（实际项目用CSF等算法）
min_z = points[:, 2].min()
ground_mask = points[:, 2] < min_z + 0.5  # 地面点
building_mask = points[:, 2] >= min_z + 1.5  # 建筑点

ground_pcd = pcd_clean.select_by_index(
    np.where(ground_mask)[0]
)
building_pcd = pcd_clean.select_by_index(
    np.where(building_mask)[0]
)

# 给不同类别上色
ground_pcd.paint_uniform_color([0.6, 0.8, 0.6])   # 绿色=地面
building_pcd.paint_uniform_color([0.7, 0.7, 0.9])  # 蓝色=建筑

# ===== Step 4: 可视化 =====
o3d.visualization.draw_geometries(
    [ground_pcd, building_pcd],
    window_name="城市3D模型 - 地面(绿)+建筑(蓝)",
    width=1200, height=800
)

# ===== Step 5: 基础分析 =====
print(f"\n===== 场景分析 =====")
print(f"地面点: {np.sum(ground_mask)}")
print(f"建筑点: {np.sum(building_mask)}")
print(f"建筑最高点: {points[building_mask, 2].max():.1f}m")
print(f"场景范围: {points.max(axis=0) - points.min(axis=0)}")

# ===== Step 6: 表面重建 (可选) =====
# 使用Poisson重建将点云转为网格
mesh, densities = o3d.geometry.TriangleMesh.create_from_point_cloud_poisson(
    pcd_clean, depth=8
)

# 保存网格模型
o3d.io.write_triangle_mesh("city_model.obj", mesh)
print("城市模型已保存为 city_model.obj")
\end{lstlisting}

\subsection{各领域3D技术选型参考}

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}llll@{}}
\toprule\noalign{}
设计领域 & 首选3D表示 & 推荐技术 & 典型工具 \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
建筑 & 网格 + BIM & 3DGS/NeRF重建 & Pix4D, RealityCapture \\
景观 & 点云 + DEM & LiDAR + 语义分割 & CloudCompare, LAStools \\
城市设计 & 网格 + 体素 & 倾斜摄影测量 & Cesium, CityEngine \\
室内设计 & 网格 & RGB-D扫描 & Matterport, Polycam \\
工业设计 & 网格 & 结构光扫描 & Artec, Shining 3D \\
\end{longtable}
}

\subsection{思考与练习}

\begin{enumerate}
\def\labelenumi{\arabic{enumi}.}
\tightlist
\item
  如果你需要为一个历史街区制定保护规划，会采用哪种3D数据采集和重建方案？说明理由。
\item
  比较NeRF和3DGS在建筑外观重建中的优缺点，什么场景下选哪种？
\item
  设计一个利用3D扫描和AI技术辅助室内改造的完整方案，包括数据流、技术选型和用户交互。
\end{enumerate}


\section{思考与练习}

\begin{enumerate}
\def\labelenumi{\arabic{enumi}.}
\item
  \textbf{表示方式选择}：针对以下三种场景，分别选择最合适的3D表示方式（点云、网格、体素或深度图），并说明理由：(a) 自动驾驶中的实时障碍物检测；(b) 游戏中的角色建模；(c) 室内装修方案的VR预览。
\item
  \textbf{技术路线对比}：NeRF和3D Gaussian Splatting分别代表了隐式和显式的场景表示路线。请从设计应用的角度分析：哪些设计场景更适合NeRF，哪些更适合3DGS？未来两者会融合还是分化？
\item
  \textbf{空间智能畅想}：设想你正在设计一个“AI空间设计师助手”，它能理解建筑平面图、3D模型和自然语言描述。请描述这个系统的核心功能模块，以及每个模块需要用到本章学到的哪些技术。
\end{enumerate}

\section{关键术语}

{\def\LTcaptype{none} % do not increment counter
\begin{longtable}[]{@{}lll@{}}
\toprule\noalign{}
中文 & 英文 & 说明 \\
\midrule\noalign{}
\endhead
\bottomrule\noalign{}
\endlastfoot
点云 & Point Cloud & 三维坐标点的集合 \\
网格 & Mesh & 顶点、边、面组成的多面体 \\
体素 & Voxel & 三维空间规则网格单元 \\
深度图 & Depth Map & 存储距离信息的二维图像 \\
激光雷达 & LiDAR & 激光测距三维传感器 \\
置换不变性 & Permutation Invariance & 输入顺序不影响输出 \\
运动恢复结构 & Structure from Motion (SfM) & 从多视角照片恢复3D结构 \\
多视图立体匹配 & Multi-View Stereo (MVS) & 稠密3D重建方法 \\
神经辐射场 & NeRF & 用MLP隐式表示三维场景 \\
体渲染 & Volume Rendering & 沿光线积分合成图像 \\
三维高斯溅射 & 3D Gaussian Splatting & 用高斯椭球体显式表示场景 \\
位置编码 & Positional Encoding & 提升高频细节的编码方法 \\
空间智能 & Spatial Intelligence & 理解和推理空间关系的能力 \\
场景图 & Scene Graph & 描述物体间关系的图结构 \\
数字孪生 & Digital Twin & 物理空间的完整数字副本 \\
地理信息系统 & GIS & 地理空间数据管理系统 \\
\end{longtable}
}