Как построить фактологически точный QA-сервис на русском языке с помощью Advanced RAG? Почему базовый RAG НЕ работает? Все ответы в этой статье. Читать далее
Привет, Хабр! В этот раз предлагаю разбор научной статьи DRAGOn: Designing RAG On Periodically Updated Corpus — будет полезна всем, кто интересуется RAG и хочет знать, как оценивать такие системы. Структура1. Почему RAG сложно оценивать 2. Идея DRAGOn3. Как строится бенчмарк4. Проверка качества QA 5. Проверка бенчмарка на RAG-системах6. Публичный лидерборд 7. Ограничения, проблемы и практические выводы Читать далее
RAG ломается не так, как обычный LLM. У голой языковой модели одна поверхность отказа - генерация. У RAG-системы таких поверхностей две: retrieval и generation. И ломаются они по-разному.Retriever может вернуть нерелевантные чанки, потерять нужные документы или ранжировать их неправильно. Генератор
Многие знают, что такое RAG. Ну, или по крайней мере слышали о нем :) Но не все знают, что типичная архитектура RAG способна отвечать далеко не на все вопросы. У агентного RAG в этом плане гораздо больше возможностей. Агентный RAG может анализировать запрос, составлять план действий и…