Расскажу про устройство нашего RAG, разберу, какие гиперпараметры влияют сильнее всего, и покажу, как мы выбили из системы максимум — включая часть, где кодовый агент сам оптимизировал промпт и код по результатам собственных eval-прогонов. Читать далее
В Yttri мы изначально использовали ONNX-реранкер bge-reranker-v2-m3 для RAG-поиска. Качество было хорошим, но цена для local-first desktop-приложения оказалась слишком высокой: около 600 МБ модели, до 1.8 ГБ RAM в пике и ощутимая нагрузка на CPU.В статье разбираю, как мы заменили тяжёлый нейросетевой реранкер…
Есть жанр статей про RAG, который выглядит так: подключаем векторную базу, берём эмбеддер, сверху реранкер, для верности — гибридный поиск с BM25, и вот у нас продакшн-ready система. Двадцать строк кода, стрелочки на схеме, всё летает.Я прошёл этот путь до конца на реальных данных. И…
Привет! Меня зовут Алексей, я разработчик в Битрикс24. В первой части рассказывал про retrieval-часть нашего RAG для AI-помощника Марты: как мы перестраивали поиск по базе знаний, подбирали retrieval pipeline под продуктовую документацию и постепенно улучшали качество поиска через серию…