https://proceedings.neurips.cc/paper/2019/file/97008ea27052082be055447be9e85612-Paper.pdf

个人理解

  1. 关于ECC:ECC本质是信息论的内容,举例介绍就是如果我希望用一个长度为N的向量去编码一些信息,每个位置有{0,1}两种选择,那么显然可以编码的信息量为$2^N$。但是问题在于,对于错误没有鲁棒性。于是解决方案就是,假如N=3,那么我们将长度拓展为N‘=6(重复码),重复一次。这样如果某一位出错,发现前三位和后三位对不上,就可以发现错误。根据《纠错码的代数理论》,ECC受到下面两个可纠正和可检查的数量限制,其中d为hamming距离。换言之,ECC根本不具有想Hopfield那样的去除噪声的功能

$$ num\ Error\ can \ be found = d -1 $$

$$ num \ error \ can \ be \ corrected =\frac{d-1}{2} $$

  1. 关于Hopfield:显然,如果神经元数量为N,根据1984年的论文,最大稳定存储量为0.14N,远不及ECC的指数级,但好在有着极强的鲁棒性。作者所希望的就是,能够将两者的优势结合起来。
  2. ECC-Hopfield就是两者的结合,其核心模型图像为:

image.png

个人存疑:这个感觉和V-H的双层Attractor的连接并没有太大关系,虽然是两层的Hopfield网络,但是一层却是隐藏层,本质上该论文所讲述的也只是一层的吸引子。

ECC-Hopfield与Hopfield的对比

image.png