В связи с ростом количества параметров нейросетевых моделей для обработки естественного языка все более актуальным становится вопрос о том, как уменьшить размерность матриц, в которых хранятся веса таких моделей. Исследование предлагает новый метод уменьшения размерности матриц обучающих весов и алгоритм сжатия под названием «сверточная компрессия весов». Суть метода заключается в применении операции свертки к анализу матриц обучающих весов нейронных сетей для уменьшения их размерности.

Aghajanyan A., Gupta S., Zettlemoyer L. Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing 2021 (August, 2021). Vol. 1: Long Papers, pp. 7319 - 7328. https://doi.org/:10.18653/v1/2021.acllong.568
Cho M., Vahid K. A., Adya S. N., Rastegaui M. DKM: Differentiable k-means clustering layer for neural network compression. arXiv: 2108.12659V1, 2021, pp. 1 - 10. https://doi.org/10.48550/arXiv.2108.12659
Choudhary T., Mishra V., Goswami A., Sarangapani S. A comprehensive survey on model compression and acceleration. Artificial Intelligence Review, 2020, vol. 53, pp. 5113 - 5155. https://doi.org/10.1007/s10462-020-09816-7
Gholami A., Kim S., Zhen D., Yao Z., Mahoney M. W., Keutzer K. A survey of quantization methods for efficient neural network inference. Low-Power Computer Vision, 2022, New York: Chapman and Hall, pp. 291 - 326. https://doi.org/10.48550/arXiv.2103.13630
Gou J., Yu B., Maybank S. J., Dreden N., Peste A. Knowledge distillation: A survey. International Journal of Computer Vision, 2021, vol. 129, no. 6, pp. 1789 - 1819. https://doi.org/10.1007/s11263-021-01453-z Hoefler T., Alistarn D., Ben-Nun T., Dryden N., Peste A. Sparsity in deep learning: Pruning and growth for efficient inference and training in neural networks. Journal of Machine Learning Research, 2021, vol. 22, no. 241, pp. 1 - 124. https://doi.org/10.5555/3546258.3546499
Hohman F., Wang G., Lee J., Görtler J. Talaria: Interactively optimizing machine learning models for efficient inference. Proceedings of the CHI Conference on Human Factors in Computing Systems (USA, Honolulu HI, 11 - 16 May 2024). New York: Association for Computing on Human factors in Computing Systems, 2024, pp. 1 - 19. https://doi.org/10.1145/3613904.3642628
Hu E. J., Shen Y., Wallis P., Allen-Zhu Z., Li Y., Wang S., Chen W. LoRA: Low-rank adaptation of large language models. arXiv preprint arXiv:2106.09685, 2021, pp. 1 - 9. https://doi.org/10.48550/arXiv.2106.09685
Jiang A. Q. et al. Mistral 7B. arXiv preprint arXiv:2310.06825. 2023, pp. 1 - 9. https://doi.org/10.48550/arXiv.2310.06825
Pan S., Yang Q. A survey on transfer learning. IEEE Transactions on knowledge and data engineering, 2009, vol. 22, no. 10, pp. 1345 - 1359. https://doi.org/10.1109/TKDE.2009.191
Shoeybi M., Patwary M., Puri R., LeGresley P., Casper J., Catanzaro B. 2019. Megatron-lm: Training multi-billion parameter language models using model parallelism. arXiv preprint arXiv:1909.08053, pp. 1 - 15. https://doi.org/10.48550/arXiv.1909.08053
Smith S. W. The scientist and engineer's guide to digital signal processing. San Diego: California Technical Publishing, 1997. 640 p.
Zhang Z., Xu Y., Yang J., Li X. A survey of sparse representation: algorithms and applications.