Transformer 表征流形演化过程（Transformer Representation Manifold Evolution）
原始文本
↓
Tokeninzer(原始文本被离散化为Token)
↓
Embedding（向量化，但是存在的问题：语义纠缠；类别重叠；局部不可分）
↓
高维表征（High-dimensional Representation：）
↓
Attention（全局相关性建模。发现谁和谁有关；发现相关性强弱；发现上下文依赖）
↓
多层Attention堆叠及残差连接（Recursive Relational Abstraction & Recursive Relational Restructuring：递归重构Hidden Space，使高维表征逐步演化为结构化流形）
↓
几何重构（Manifold Reconstruction）{通过多层 Attention 的递归抽象与重构，逐步优化流形结构，降低表征冗余与语义纠缠，提升局部可分性与全局一致性。实现结构化抽象的几何操作:流形展开（Manifold Unfolding）；流形整形（Manifold Shaping）；流形对齐（Manifold Alignment）}
↓
结构化抽象（Structure Discovery：发现概念；发现类别；发现层级关系；发现推理模式）
↓
抽象符号形成（abstract symbol formatin：形成concetp features、Semantic Features、Relational Features)
↓
结构化抽象表征
↓
形成平滑且可分离的表征流形（Smooth & Separable Manifold：多层 Attention + Hidden Space 重构的累积结果,泛化能力的几何条件，代数表现：表征矩阵的奇异值谱发生剧烈衰减（Singular Value Spectrum Decay），长尾特征被抹平（冗余方向被压缩），系统有效自由度（Effective Degrees of Freedom）远小于隐藏维度数。）
↓
形成低内蕴维结构（Low Intrinsic Dimensional Structure：流形几何特征）
|
├──→产生压缩表示（Compression as an Emergent Property：自然从低内蕴维和几何紧凑性出现）
|
└──→获得泛化能力（Generalization）
Comments