Расскажу про устройство нашего RAG, разберу, какие гиперпараметры влияют сильнее всего, и покажу, как мы выбили из системы максимум — включая часть, где кодовый агент сам оптимизировал промпт и код по результатам собственных eval-прогонов. Читать далее
В Yttri мы изначально использовали ONNX-реранкер bge-reranker-v2-m3 для RAG-поиска. Качество было хорошим, но цена для local-first desktop-приложения оказалась слишком высокой: около 600 МБ модели, до 1.8 ГБ RAM в пике и ощутимая нагрузка на CPU.В статье разбираю, как мы заменили тяжёлый нейросетевой реранкер…
Привет! Меня зовут Алексей, я разработчик в Битрикс24. В первой части рассказывал про retrieval-часть нашего RAG для AI-помощника Марты: как мы перестраивали поиск по базе знаний, подбирали retrieval pipeline под продуктовую документацию и постепенно улучшали качество поиска через серию…
RAG ломается не так, как обычный LLM. У голой языковой модели одна поверхность отказа - генерация. У RAG-системы таких поверхностей две: retrieval и generation. И ломаются они по-разному.Retriever может вернуть нерелевантные чанки, потерять нужные документы или ранжировать их неправильно. Генератор