https://arxiv.org/abs/2008.02217
The Most Interesting Part

“Attention Is All You Need!”(为此还专门重新回去读了一下$\texttt{Attention Is All You Need}$)
- 何为$\texttt{Attention}$?「用 Q 查 K→算权重→加权 V」
- $\xi \leftrightarrow Q$ 。$\xi$其实就是输入的带噪模式,$X$则是存储的模式。$\xi X^T$ 本质就是查询 ξ 在所有存储模式(X 作为 K)上的投影集合。
- $\beta$显然就起到了$\frac{1}{\sqrt{d_k}}$的作用。
Storage Capacity
对于随机选取、位于半径为 $M=K\sqrt{d−1}$ 球面上的模式(d为关联空间维度,K为常数),在失败概率$0<p≤1$的情况下,可存储的模式数量满足:
$$
N\geq \sqrt{p} c^{\frac{d-1}{4}}
$$
$c$ 为常数,可由参数$\beta$决定。
在原文中还有关于Global Fixed Point和Metastable states的讨论:
- 我们理想状态是“patterns $x_i$ that are well separated and the iteration converges to a fixed point which is near a pattern $x_i$ .”但是现实往往不仅人意,有下面两种可能的情况。
- 全局不动点(Global fixed point):没有任何一个模式和其他模式 “明显疏远”(所有模式彼此都相似),迭代会收敛到一个 “全局固定点”,这个点非常接近所有模式向量的算术平均值。
- 亚稳态(Metastable states):部分模式彼此相似(形成 “小团体”),且这个小团体和其他模式 “明显疏远”,在这个小团体附近会形成一个 “亚稳态”(局部固定点),只要迭代从亚稳态附近开始(哪怕从该小团体中的某个模式开始),都会收敛到这个亚稳态 —— 相当于小团体有自己的 “局部中心”,且和其他团体隔绝,内部迭代不会跑到外部。
迭代过程会影响输出结果,而迭代过程的核心又是:
$$
\xi^{new}=X\text{softmax}(\beta X^T\xi )
$$
显然,$\beta$ 就控制了缩放模式与查询的相似度差异,进而控制权重的 “集中程度”—— 要么聚焦少数模式,要么均匀分配给多数模式,$\beta$ 越大。
Code Implementation