Введение

После появления в 2018 году ChatGPT [1] большие языковые модели (LLM) перестали быть просто научным инструментом. С каждым годом растет количество пользователей и вариаций и новых версий LLM, а также способов их применения для достижения какого-либо полезного результата [2]. Большую часть времени LLM могли работать только с текстом и имели ограничения связанные механизмами их работы – зависимость от обучающей выборки, а также размера и способа работы со своим контекстным окном.

Традиционным решением описанных выше проблем являлось увеличение размера модели – как количества параметров, так и контекстного окна. Однако такой подход приводит к значительному увеличению требований к количеству обучающих данных, ресурсам на обучение и инференс модели. С помощью изменений в архитектуре можно достичь сопоставимого результата [3], однако они все равно не до конца решают описанные выше проблемы.

В результате начали возникать способы повышения эффективности решения задач LLM, основанные на предоставлении механизмов для взаимодействия с внешними источниками и инструментами, что позволяет решать проблему устаревания данных в модели со временем, снижать размер модели за счет выноса данных вне весов, использовать внешние инструменты для выполнения задач не связанных с генерацией текста. На текущий момент существует три основных метода аугментации генерации LLM, которые будут рассмотрены в этой статье: RAG (Retrieval-Augmented Generation); Tool-Use фреймворки; агентные фреймворки.

Tool-Use фреймворки

RAG (Retrieval-Augmented Generation) является методом, позволяющим включать релевантные данные из внешних источников в результаты генерации LLM. Механизм работы RAG можно разбить на два основных шага – получение данных (Retrieve) и аугментированная генерация (Augmented-Generation). На этапе получения данных проводится поиск наиболее подходящей под запрос информации в базе документов. После чего на этапе аугментированной генерации текст запроса и полученная информация комбинируется для генерации ответа модели [4] Ниже кратко описаны основные вариации развития базового подхода RAG.

Self-RAG – отличается от базового RAG тем, что с помощью ввода специальных токенов (reflection tokens), для генерации которых модель дообучается оценивать необходимость использования источника в тексте и выбирать наилучший дополненный данными результат из сгенерированных [5].

Активный RAG (FLARE) – данный подход генерирует временное следующее предложение в ответе для того, чтобы оценить его на необходимость использования базы знаний для получения актуальной информации [6].

Агентский RAG – данный подход отличается включением активных агентов, способных к динамическому принятию решений, в процесс поиска релевантной информации, что позволяет повысить качество ответа за счет итеративного формирования ответа [7]

Мультимодальный RAG – данный подход расширяет базовый RAG за счет обучения модели использованию баз данных которые содержат не только текстовую информацию, но и изображения, звук и прочие модальности [8].

Графовый RAG – данный подход использует LLM для того, чтобы создать граф знаний, где вершины соответствуют ключевым вхождениям в базе знаний, а ребра соответствуют семантическим отношениями между этими корпусами. Созданный граф разделяется на подгруппы по смысловой близости вершин, смысловое содержание которых обобщается с помощью LLM, и затем используется при формировании ответа [9].

HyDE (Hypithetical Document Embeddings) – данный подход вместо поиска информации по базе данных на основе чистого запроса от пользователя сначала генерирует предполагаемый ответ или документ. После чего векторный эмбеддинг сгенерированного текста используется для поиска на основе метрик схожести векторов. [10].

REALM (Retrieval-Augmented Language Model) – в данном подходе этап получения данных интегрирован напрямую в обучаемую языковую модель с помощью использования масок. Внедрение извлечения данных в архитектуру позволяет повысить эффективность работы модели за счет того, что текст с самого начала генерируется с учетом необходимости использования источников [11].

RETRO (Retrieval-Enchanced Transformer) – данный подход модифицирует стандартную архитектуру трансформера, добавляя к ней базу данных в форме большого количества токенов, которые находятся в замороженном состоянии и добавляются в ответ по мере генерации [12].

RAG находит широкое применение во многих задачах обработки текста, где важно качество и точность получаемых данных. Это подтверждается тем, что RAG системы широко используются в QA системах, связанных с финансами, медициной и технической информацией – областями, требующими повышенной точности при генерации ответов [13].

Из потенциально отрицательных сторон RAG выделяют необходимость в создании внешней зависимости от программного интерфейса приложения (API) или базы данных, что приводит к отдельным проблемам связанных с их корректной настройкой и поддержкой работы помимо развертывания LLM. Также наличие внешней API зависимости задачей которой является поиск данных означает возможность возникновения существенной задержки, что усложняет интеграцию RAG систем в высоконагруженные сервисы.

Tool-Use фреймворки

Tool-Use фреймворк является способом организации архитектуры LLM и её окружения таким образом, что последняя может программно взаимодействовать с предоставляемыми фреймворком функциями, внешними инструментами и API. Основной Tool-Use архитектуры является наличие мыслительной петли, в которой LLM работает как центр принятия решений, определяющий когда и как использовать набор внешних инструментов, доступных в её окружении. В соответствии с принятыми решениями выбранный инструмент используется с заданными параметрами, после чего на основе результата его работы формируется конечный ответ модели на запрос. В результате Tool-Use позволяет использовать LLM не как статический репозиторий с информацией, а динамический интерфейс, способный выполнять заданный набор действий в цифровой среде [14-16] В общем случае в процессе Tool-Use выделяют четыре основных этапа:

1. Планирование задач – декомпозиция изначальной задачи на набор подзадач с помощью LLM.
2. Выбор инструментов – поиск подходящих инструментов среди доступных с помощью LLM или RAG-системы.
3. Использование инструментов – вызов выбранных инструментов с помощью Tool сервера.
4. Генерация ответа на запрос – сбор и суммаризация данных полученных в результате выполнения инструментов для формирования ответа на запрос пользователя.

Подход Tool-Use является относительно новым направлением в применении LLM для задач помимо генерации текста. Не смотря на это существует множество вариаций этого подхода для множества инструментов, каждый из которых потенциально уникален для среды и ситуации применения метода [15]. За счет относительно абстратктного подхода к вызову инструментов Tool-Use фреймворки позволяют использовать широкий набор внешних инструментов для получения необходимых актуальных данных и последующих дейстий над ними, если это необходимо. При этом Tool-Use в среднем проще и быстрее чем RAG, поскольку не требуется создания специализированной внешней базы знаний и пайплайна для интеграции информации из него в ответ модели, вместо этого вызывается внешний инструмент. Также за счет использования внешнего инструмента результаты его работы являются относительно детерминированными, так как представляются из себя структурированный результат вызова внешнего API. При этом необходимо учитывать, что Tool-Use ограничен в понимании контекста, так как не использует эмбеддинг ответов в запросе аналогично тому как это делается в RAG [14-16].

Агентские фреймворки

Агентный фреймворк представляет из себя систему, которая использует LLM для того, чтобы на основе поставленной сложной задачи составлять план действий и выполнять набор действий по этому плану для достижения поставленного результата [17-19]. В отличие от стандартного взаимодействия в форме запрос-ответ агент может генерировать и обрабатывать множество запросов и ответов для решения задачи в цикле пока задача не будет решена. Также в рамках этого цикла агент может взаимодействовать с набором внешних инструментов и источников данных [17]. Принцип работы агента следующий:

1. Планирование – LLM обрабатывает сложную цель, поставленную пользователем, с целью разделения её на набор простых подзадач.
2. Выполнение – агент выполняет каждый поставленный шаг с помощью выбора и использования инструментов.
3. Наблюдение – агент получает результат работы от инструмента.
4. Повтор – LLM проверяет новое состояние с учетом полученных результатов, и если оно удовлетворяет поставленной задаче — заканчивает выполнение, иначе модифицирует план и начинает цикл с начала.

В общем случае агенты понятие очень широкое, поскольку охватывает все системы, где LLM используется для декомпозиции и планирования задач с последующей передачей их на выполнение внешним агентам в форме других LLM или инструментов [17]. Среди общей массы по похожему функционалу выделяют следующие типы агентов:

1. Общие – общий вид агента, не заточенный на выполнение каких-либо конкретных задач.
2. Инструментальные – агент, обученный управлению набором инструментов для решения узкоспециализированной задачи.
3. Симуляционные – агент, существующий и автономно действующий в некой симулированной среде, обычно используется не напрямую для решения какой-либо задачи, а для извлечения и анализа паттернов поведения формирующихся под воздействием среды.
4. Воплощенные (embodied) – агент, управляющий каким-либо телесным воплощением в виртуальной или реальной среде.
5. Игровые – агент, заточенный на существование и деятельность в какой-либо игре либо для прохождения, либо с целью предоставления реалистичного опыта для игроков.
6. Web – агент, основной задачей которого является автоматизация задач взаимодействия с веб-технологиями.
7. Ассистенты – агент, созданный для выполнения роли секретаря для одного или нескольких пользователей.

Помимо разделения агентов по функционалу также существует разделение по реализации поскольку создать систему-агента можно несколькими разными способами. Среди подходов к реализации агентов выделяют следующие группы:

1. Action Execution (LangChain Tools, LlamaIndex) – агент использует одну или несколько LLM для выбора и использования одного или нескольких доступных ей инструментов для выполнения запроса пользователя.
2. Plan and Execute (BabyAGI, AutoGPI) – агент оперирует в автономном режиме в цикле Размышление-Действие-Наблюдение для планирования и выполнения декомпозированной задачи, заданной пользователем.
3. Multi-Agent (CrewAI, AutoGen) – представляет из себя ансамбль агентов, коммуницирующих и делегирующих между собой задачи для достижения поставленной цели.

Использование агентов позволяет автономно решать сложные задачи, в том числе по поиску и обработке информации, без человеческого вмешательства. Также появляется возможность изменения количества, качества и прочих параметров набора инструментов, используемых моделью, для повышения эффективности решаемой задачи [17-19]. При этом стоит учитывать, что использование агентов ведет к нескольким последовательным вызовам LLM вместо одного, что делает скорость ответа меньше, а стоимость использования таких систем больше. Также использование внешних инструментов помимо описанных выше преимуществ влечет за собой определенную непредсказуемость в поведении модели и сложность в поиске причины возникающих проблем [17-19].

Сравнение подходов

Выбор между RAG, Tool-Use и Agent Frameworks в качестве инструмента для аугментации генерации LLM с помощью внешних источников в основном является решением, основанным на требованиях к задаче и ограничениях ресурсов.

RAG в силу своих свойств предоставляет качественные результаты при работе со статической, контролируемой базой знаний. Его использование позволяет уменьшить галлюцинации для четко определенных корпусов. В отличие от них, Tool-Use и агентные фреймворки подключаются к динамическим данным в реальном времени, что это создает зависимость от надежности и задержки внешнего API.

RAG является наименее сложной в реализации и работает как единый, усовершенствованный этап генерации. Tool-Use фреймворк добавляет уровень планирования и выполнения. Агентные фреймворки являются наиболее сложными, требующими сложных циклов рассуждений и планирования, но они обеспечивают максимальную автономию для решения открытых целей.

Tool-Use предназначен для обеспечения точности – вызова калькулятора для математики или базы данных для конкретного запроса. RAG предоставляет более широкие, контекстуальные знания из набора документов. Агенты организуют и то, и другое, используя инструменты для обеспечения точности и извлечения контекста, как у RAG, для достижения широкой цели.

Заключение

В большинстве случаев RAG будет являться оптимальным решением для расширения LLM с помощью информации из внешних источников. Применение Tool-Use фреймворкой имеет смысл, когда точность конкретных данных в режиме реального времени имеет первостепенное значение. Агентные фреймворки предназначены для решения сложных многоступенчатых задач по получению и обработке данных в автономном режиме, требующих одновременной работы нескольких инструментов, однако необходимо учитывать, что они требуют наиболее высоких затрат на разработку и вычисления.