Вашей компании LLM не нужен? Построение инфраструктуры с нуля

Подробно рассмотрим построение инфраструктуры для использования больших языковых моделей (LLM) с нуля, опираясь на опыт Х5 Tech.

Начну с объяснения, что такое LLM и почему они становятся все более важными для современных технологий. Обсудим ключевые компоненты, необходимые для создания масштабируемой и надежной инфраструктуры. Сравним три популярных бэкенда для инференса LLM: llama-cpp, TGI и vLLM, выделяя их преимущества и недостатки. Особое внимание уделим подводным камням llama-cpp и рассмотрим, действительно ли vLLM — идеальное решение. Затронем тему информационного поиска и его связь с LLM — объясню, как эти модели могут улучшить процессы поиска по базам знаний.

В заключение обсудим, как заставить LLM писать качественный текст, на основе опыта внедрения чат-бота для сотрудников Пятерочки.