Расскажем о необходимой базе при создании RAG-приложений с использованием больших языковых моделей.

Начнем с краткого рассмотрения общего рынка LLM и способов расширения их знаний. Затем рассмотрим конкретные пользовательские сценарии с использованием, в том числе, YandexGPT. Обсудим сильные стороны и потенциальные ограничения этих моделей. Разберем доступные в облаке способы расширения знаний — через Datasphere и через построение RAG (Retrieval-Augmented Generation).

Далее перейдем к анализу высокоуровневых архитектур приложений RAG. Рассмотрим основные компоненты таких систем, принципы их взаимодействия и ключевые этапы обработки информации. Важной частью доклада станут технические детали реализации таких приложений: обзор доступных баз данных (векторных, managed PostgreSQL, OpenSearch и других), методов векторизации, токенизации. В завершении обсудим методы оценки качества работы RAG-приложения.

Доклад будет продолжен нашим коллегой Дмитрием Сошниковым, который во время своего воркшопа на практике покажет, как построить приложение RAG с использованием LLM.

Kuzma Leshakov

Talks from 2024 season

Extending Knowledge of LLM

Aleksandr Konstantinov

Kuzma Leshakov