SOFT：
低秩矩阵分解算法
Newton-Raphson 方法来计算 Moore-Penrose逆矩阵
Hadamard product大概就是矩阵乘法？得到矩阵，和点积、点乘之间的关系、区别参考：博客1，博客2 高斯核函数
nystrom：不知道算不算是SOFT的另外一种思路，这个方法暂时没找到，Gram 矩阵（风格转换中常用）
一篇很好的解释Transformer的博客，另外一篇很好的解释Transformer的博客，
文档信息
- 本文作者：Guoziyu
- 本文链接：https://mateguo1.github.io/2021/12/05/SOFT/
- 版权声明：自由转载-非商用-非衍生-保持署名（创意共享3.0许可证）