结构化矩阵
Posted missidiot
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了结构化矩阵相关的知识，希望对你有一定的参考价值。
十岁的小男孩
Define：
如果一个m×n阶矩阵只需要少于m×n个参数来描述，就是一个结构化矩阵（structured matrix）。
优点：
不仅能减少内存消耗，还能通过快速的矩阵-向量乘法和梯度计算显著加快推理和训练的速度。
缺点：
1.结构约束会导致精确度的损失，因为约束可能会给模型带来偏差；
2.如何找到一个合适的结构矩阵是困难的；
3.没有理论的方法来推导出来；
综上：
因而该方法没有广泛推广。
知识应该是开源的，欢迎斧正，[email protected]
以上是关于结构化矩阵的主要内容，如果未能解决你的问题，请参考以下文章