https://arxiv.org/abs/2008.02217

The Most Interesting Part

image.png

“Attention Is All You Need!”(为此还专门重新回去读了一下$\texttt{Attention Is All You Need}$)

Storage Capacity

对于随机选取、位于半径为 $M=K\sqrt{d−1}$ 球面上的模式(d为关联空间维度,K为常数),在失败概率$0<p≤1$的情况下,可存储的模式数量满足:

$$ N\geq \sqrt{p} c^{\frac{d-1}{4}} $$

$c$ 为常数,可由参数$\beta$决定。

在原文中还有关于Global Fixed Point和Metastable states的讨论:

迭代过程会影响输出结果,而迭代过程的核心又是:

$$ \xi^{new}=X\text{softmax}(\beta X^T\xi ) $$

显然,$\beta$ 就控制了缩放模式与查询的相似度差异,进而控制权重的 “集中程度”—— 要么聚焦少数模式,要么均匀分配给多数模式,$\beta$ 越大。

Code Implementation