ОГЛЯД МЕТОДІВ ЗЛИТТЯ ВЕКТОРНИХ ПРЕДСТАВЛЕНЬ
DOI: 10.31673/2412-4338.2022.048489
Анотація
У даній статті представлено вичерпний огляд найсучасніших методів злиття векторних представлень при обробці природної мови та у машинному навчанні. Злиття векторних представлень має на меті об’єднання кількох векторних представлень слів або документів в єдине представлення, яке може кодувати різні аспекти вхідних даних. Це зазвичай використовується у застосунках мультимодального машинного навчання, де вхідні дані надходять із різних джерел у різних форматах або в ситуаціях, коли векторні представлення вже доступні, і їх потрібно об’єднати в моделі. Стаття охоплює різні методи злиття, включаючи конкатенацію, усереднення, зважене усереднення та підходи на основі нейронних мереж.
У статті надано детальний аналіз переваг і недоліків кожного методу, а також сценарії, в яких вони є найбільш ефективними. векторні представлення класифіковано за шаром архітектури моделі, на якому відбувається злиття, а також за типом злиття. Більше того, описуються рекомендації вибору методу злиття векторних представлень залежно від обмежень задачі. Також, у статті обговорюються метрики оцінювання, які зазвичай використовуються для оцінки якості результуючих векторних представлень, такі як подібність і точність класифікації.
Загалом, дана стаття є цінним ресурсом для дослідників і практиків у сфері обробки природної мови та машинного навчання, які бажають поглибити своє розуміння методів злиття векторних представлень та їх застосування. Відомості та рекомендації, представлені в цьому документі, можуть допомогти у виборі відповідних методів злиття та покращити ефективність вирішення різноманітних завдань обробки природної мови та машинного навчання. Слідкуючи за останніми розробками в методах злиття векторних представлень, дослідники та практики можуть продовжувати розширювати межі обробки природної мови та машинного навчання.
Ключові слова: машинне навчання, обробка природної мови, математичне моделювання, нейронні мережі, векторні представлення слів, векторні представлення документів, метрики злиття векторних представлень.
Список літератури
1. Camacho-Collados J., Pilehvar M. Embeddings in Natural Language Processing. Proceedings of the 28th International Conference on Computational Linguistics: Tutorial Abstracts. 2020. P. 10 – 15. 2. Ramachandram D., Taylor G. W. Deep Multimodal Learning: A Survey on Recent Advances and Trends. IEEE Signal Processing Magazine. 2017. №34(6). P. 96 – 108.
3. Blandfort P., Karayil T., Raue F., Hees J., Dengel A.R. Fusion Strategies for Learning User Embeddings with Neural Networks. 2019 International Joint Conference on Neural Networks (IJCNN). 2019. P. 1 – 8.
4. Wróblewska A., Dąbrowski J., Pastuszak M., Michałowski A., Daniluk M., Rychalska B., Wieczorek M., Sysko-Romańczuk S. Designing Multi-Modal Embedding Fusion-Based Recommender. Electronics. 2022. №11(9). P. 1391. 5. Stahlschmidt S. R., Ulfenborg B., Synnergren J. Multimodal deep learning for biomedical data fusion: a review. Briefings in Bioinformatics. 2022. №23(2). P. 1 – 15. 6. Gao J., Li P., Chen Z., Zhang J. A survey on deep learning for multimodal data fusion. Neural Computation. 2020. №32(5). P. 829 – 864. 7. Shvetsova N., Chen B., Rouditchenko A., Thomas S., Kingsbury B., Feris R. S., Kuehne H. Everything at once-multi-modal fusion transformer for video retrieval. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. P. 20020 – 20029. 8. Qiu S., Chang G. H., Panagia M., Gopal D. M., Au R., Kolachalama V. B. Fusion of deep learning models of MRI scans, Mini–Mental State Examination, and logical memory test enhances diagnosis of mild cognitive impairment. Alzheimer's & Dementia: Diagnosis, Assessment & Disease Monitoring. 2018. №10. P. 737 – 749. 9. McFee B., Lanckriet G., Jebara T. Learning Multi-modal Similarity. Journal of machine learning research. 2011. №12(2). P. 491 – 523
10. Li Q., Xiong Q., Gao M., Ji S., Yu Y., Wu C. Multi-view heterogeneous fusion and embedding for categorical attributes on mixed data. Soft Computing. 2020. №24. P. 10843 – 10863.
