ЗАСТОСУВАННЯ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ ДЛЯ АНАЛІЗУ НАУКОВИХ ПУБЛІКАЦІЙ - Наукові конференції
Головна
UA PL EN

Вас вітає Інтернет конференція!

Вітаємо на нашому сайті

Рік заснування видання - 2011

ЗАСТОСУВАННЯ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ ДЛЯ АНАЛІЗУ НАУКОВИХ ПУБЛІКАЦІЙ

13.05.2025 10:42

[1. Інформаційні системи і технології]

Автор: Падучак Олег Володимирович, аспірант, кафедри комп'ютеризованих систем автоматики, Національний університет «Львівська політехніка»



Вступ. У сучасних умовах стрімкого зростання обсягів наукової інформації особливої актуальності набувають інструменти, здатні ефективно обробляти та аналізувати великі масиви текстових даних. Великі мовні моделі (LLM) відкривають нові можливості для автоматизованого опрацювання наукових публікацій, зокрема у виявленні тематичних зв’язків, структуруванні знань і пошуку релевантної інформації. 

У контексті пошуку наукових співавторів, LLM можуть стати потужним інструментом для аналізу публікацій, виявлення потенційних співробітників і формування рекомендацій на основі тематичних та концептуальних зв’язків між роботами. Традиційні методи, такі як використання наукових баз даних чи академічних соціальних мереж, мають свої обмеження у визначенні контексту та інтеграції новітніх досліджень. 

За допомогою LLM можна автоматизувати процеси, що стосуються пошуку співавторів, орієнтуючись на ключові теми, спільні інтереси та інтердисциплінарні зв’язки, що дозволяє значно полегшити і прискорити вибір відповідних партнерів для спільних наукових проектів.

Результати дослідження. Згідно з останніми дослідженнями, великий ріст ринку генеративного штучного інтелекту, зокрема великих мовних моделей (LLM), свідчить про їхні широкі можливості у різних сферах, зокрема в аналізі наукових публікацій. Генеративний штучний інтелект, зокрема моделі на основі трансформерів, таких як GPT і BERT, здатні генерувати новий контент, а також здійснювати текстовий видобуток, наприклад, аналізувати настрій, узагальнювати документи та витягувати концепти з наукових статей. [1]. 

Прикладом успішного застосування великих мовних моделей є дослідження автоматичної анотації фенотипів рослин за допомогою термінів з онтології рослинних ознак (TO), яке виявило що з цей метод дає значні покращення порівняно з традиційними методами текстового видобутку, що використовують пряме зіставлення термінів [2]. Використання LLM для розділення довгих фенотипічних описів на коротші концепти дозволяє досягти вищої точності анотацій, а підхід Retrieval-Augmented Generation (RAG), що поєднує контекстуальну інформацію з онтології, значно підвищує ефективність вибору найбільш підходящих термінів для анотації. 

Цей підхід показав значні переваги в порівнянні з методами, що ґрунтуються на простому зіставленні векторів подібності, надаючи значно точніші результати, що є подібними до тих, що були створені експертами. Це в свою чергу доводить ефективність великих мовних моделей для аналізу наукових праць.

Проте, у сучасних системах машинного навчання значна проблема полягає в тому, що використання великих комбінацій моделей може бути надмірно енергоємним і витратним з точки зору обчислювальних ресурсів, що ускладнює їх впровадження для великої кількості користувачів [3]. Це особливо актуально, коли мова йде про використання великих нейронних мереж. У останніх дослідженнях, було розглянуте можливе значне покращення ефективності через дистиляцію знань, що значно зменшує вимоги до обчислювальних потужностей і електроспоживання. 

Додатково, використання спеціалізованих моделей у складі колективу дозволяє досягти значних результатів, оскільки ці моделі можуть швидко навчатися в паралелі і розрізняти тонші класи, з якими основні моделі не справляються, зменшуючи загальне навантаження на систему та покращуючи її ефективність.

Висновок. У контексті стрімкого розвитку технологій штучного інтелекту, зокрема великих мовних моделей (LLM), значно покращується ефективність процесів аналізу наукових публікацій та пошуку потенційних співавторів. Використання LLM для виявлення тематичних зв'язків та концептуальних взаємодій між роботами дозволяє значно оптимізувати процеси, що традиційно потребували великих обсягів ручної праці та часових витрат. 

Проте однією з основних проблем є високі енергетичні та обчислювальні витрати, які виникають при використанні складних комбінацій моделей. Однак методи дистиляції знань та впровадження спеціалізованих моделей у складі колективів забезпечують значне зменшення навантаження на обчислювальні ресурси і підвищення загальної ефективності. Це відкриває нові можливості для масштабного впровадження таких інструментів в академічному середовищі, роблячи їх більш доступними та економічно вигідними.

Література:

1.Živadinović, M. (2023). Application of large language models for text mining: The study of ChatGPT. In ITEMA 2023 (pp. 73–80). https://doi.org/10.31410/ITEMA.S.P.2023.73

2.Kainer, D. (2025). The effectiveness of large language models with RAG for auto-annotating trait and phenotype descriptions. In Biology Methods and Protocols (Vol. 10). Oxford University Press. https://doi.org/10.1093/biomethods/bpaf016 

3.Hinton, G., Vinyals, O., & Dean, J. (2015). Distilling the knowledge in a neural network. arXiv. https://arxiv.org/abs/1503.02531



Creative Commons Attribution Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
допомога Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter

Інші наукові праці даної секції

Конференції

Конференції 2025

Конференції 2024

Конференції 2023

Конференції 2022

Конференції 2021



Міжнародна інтернет-конференція з економіки, інформаційних систем і технологій, психології та педагогіки

Наукова спільнота - інтернет конференції

:: LEX-LINE :: Юридична лінія

Інформаційне суспільство: технологічні, економічні та технічні аспекти становлення