Привет, Хабр! В этот раз предлагаю разбор научной статьи DRAGOn: Designing RAG On Periodically Updated Corpus — будет полезна всем, кто интересуется RAG и хочет знать, как оценивать такие системы. Структура1. Почему RAG сложно оценивать 2. Идея DRAGOn3. Как строится бенчмарк4. Проверка качества QA 5. Проверка бенчмарка на RAG-системах6. Публичный лидерборд 7. Ограничения, проблемы и практические выводы Читать далее
Когда RAG-система дает сбой, по финальному ответу почти невозможно понять, где именно произошла ошибка. Генерация с дополнением через поиск – один из базовых паттернов работы с контекстом в LLM-приложениях: он расширяет знания модели за счет поиска, но одновременно усложняет…
Можно ли делать RAG на MacStudio M3 Ultra? CAG - убийца RAG? Самый лучший RAG от OpenAI и Grok?Ответы на эти вопросы мы узнали во время участия в соревновании Agentic RAG Legal Challenge. Стоит отметить хорошую организацию соревнования и продуманные метрики. Более 300 команд со всего мира. Ответы на вопросы - под катом
Процесс Retrieval-Augmented Generation (RAG) представляет собой довольно сложную систему, состоящую из множества компонентов. Вопрос о том, как определить существующие методы RAG и их оптимальные варианты реализации этапов обработки информации для выявления лучших практик. В настоящий момент остается наиболее актуальным. В этой статье я хочу поделиться своим опытом относительно реализации подходов и практик в области RAG систем, который реализует систематический подход к решению этой проблемы. Читать далее