https://proceedings.neurips.cc/paper/2019/file/97008ea27052082be055447be9e85612-Paper.pdf
个人理解
- 关于ECC:ECC本质是信息论的内容,举例介绍就是如果我希望用一个长度为N的向量去编码一些信息,每个位置有{0,1}两种选择,那么显然可以编码的信息量为$2^N$。但是问题在于,对于错误没有鲁棒性。于是解决方案就是,假如N=3,那么我们将长度拓展为N‘=6(重复码),重复一次。这样如果某一位出错,发现前三位和后三位对不上,就可以发现错误。根据《纠错码的代数理论》,ECC受到下面两个可纠正和可检查的数量限制,其中d为hamming距离。换言之,ECC根本不具有想Hopfield那样的去除噪声的功能
$$
num\ Error\ can \ be found = d -1
$$
$$
num \ error \ can \ be \ corrected =\frac{d-1}{2}
$$
- 关于Hopfield:显然,如果神经元数量为N,根据1984年的论文,最大稳定存储量为0.14N,远不及ECC的指数级,但好在有着极强的鲁棒性。作者所希望的就是,能够将两者的优势结合起来。
- ECC-Hopfield就是两者的结合,其核心模型图像为:

- 如fig a / b。分为隐藏层(约束层,上,负责校验)和输入层(下,负责存储)。
形成一个 二部图 (bipartite graph)
- 图要满足 expander property:小集合的输入错误会扩展到大量不同的约束节点,保证错误不会“局部抵消”。这解决了 Hopfield 的经典问题:Hopfield 在 dense random code 里无法定位错误来源,而稀疏 expander 的结构能细化错误(也就是解决了信用分配问题)。
- 能量函数的变化:
- 普通 Hopfield:能量函数来自 pairwise interaction。
- ECC-Hopfield:能量函数 = “违反多少个约束”。
- 约束节点不满足 → 网络能量升高。
- 网络动力学自然会尝试翻转一些输入,使更多约束被满足 → 达到稳定态。
个人存疑:这个感觉和V-H的双层Attractor的连接并没有太大关系,虽然是两层的Hopfield网络,但是一层却是隐藏层,本质上该论文所讲述的也只是一层的吸引子。
ECC-Hopfield与Hopfield的对比
