Верификация лингвистических гипотез с помощью больших языковых моделей

В статье предлагается новый подход к верификации лингвистических гипотез с помощью больших языковых моделей. Метод использует формальное описание лингвистической теории, подлежащей доказательству, чтобы смоделировать векторное представление для коллекции языковых данных. Созданное представление сопоставляется с векторными вложениями, построенными с помощью нейросетевых моделей. Цель исследования заключается в попытке разработать универсальный инструмент для решения задач фундаментальной лингвистики средствами математического моделирования языка с помощью генеративного искусственного интеллекта.

Abdin M. et al. Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone. arXiv:2404.14219. 19 p. https://doi.org/10.48550/arXiv.2404.14219
Achiam J. et al. GPT-4 Technical Report. arXiv:2303.08774. 100 p. https://doi.org/10.48550/arXiv.2303.08774
Artetxe M., Labaka G., Agirre E. Learning principled bilingual mappings of word embeddings while preserving monolingual invariance. Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (November 1 - 5, 2016, USA). Association for Computational Linguistics, 2016, pp. 2289 - 2294. https://doi.org/10.18653/v1/D16-1250
Backus J. W. The syntax and semantics of the proposed international algebraic language of the Zurich ACM-GAMM Conference. Proceedings of the International Conference on Information Processing (Butterworths, London, 1959), pp. 125 - 131.
Chomsky N. Aspects of the Theory of Syntax. Cambridge: MIT Press, 1965. 261 p.
Gerganov G. LLM inference in C/C++. Available at: https://github.com/ggerganov/llama.cpp. (accessed: 30.06.2024).
Hewitt J., Manning C. D. A structural probe for finding syntax in word representations. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, vol. 1 (Long and Short Papers). Minneapolis: Association for Computational Linguistics, 2019, pp. 4129 - 4138. https://doi.org/10.18653/v1/N19-1419
Manning C. D., Clark K., Hewitt J., Khandelwal U., Levy O. Emergent linguistic structure in artificial neural networks trained by self-supervision. Proceedings of the National Academy of Sciences, 2020, vol. 117, no. 48, pp. 30046 - 30054. https://doi.org/10.1073/pnas.1907367117
Mesnard T. et al. Gemma: Open Models Based on Gemini Research and Technology.
Saba W. S. Stochastic LLMs do not understand language: towards symbolic, explainable and ontologically based LLMs. International Conference on Conceptual Modeling. Cham: Springer Nature Switzerland, 2023, pp. 3 - 19. https://doi.org/10.1007/978-3-031-47262-6_1
Shevkunov K., Prokhorenkova L. Overlapping Spaces for Compact Graph Representations.
Starace G., Papakostas K., Choenni R., Panagiotopoulos A., Rosati M., Leidinger A., Shutova E. Probing LLMs for joint Encodind of Linguistic Categories. Findings of the Association for Computational Linguistics: EMNLP 2023. Singapore: Association for Computational Linguistics, 2023, pp. 7158 - 7179. https://doi.org/10.18653/v1/2023.findings-emnlp.476
Warstadt A., Singh A., Bowman S. R. Neural Network Acceptability Judgments. Transactions of the Association for Computational Linguistics, 2019, vol. 7, no. 1, pp. 625 - 641. https://doi.org/10.1162/tacl_a_00290