Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 1]LLM глючит в продакшене? ???? Хватит надеяться на «vibe-check»! Узнай, как внедрить инженерный подход к качеству ИИ-агентов. В статье:???? Что такое Golden Set и почему его нельзя заменить ручной проверкой ???? Как автоматически создать Golden Set через Knowledge Graph для RAG системы ???? Готовый Python-код для генерации тестов в RAGAS Читать далее
Продолжаем рассмотрение, того как правильно оценивать качество ИИ систем, в данной части поговорим о двух крайне полезных метриках: одна универсальный способ оценить, что LLM отвечает правильно, вторая для задачи суммаризации текста. На примере библиотеки RAGAS, с разбором того, как эти метрики работают изнутри. Читать далее
Продолжаем рассмотрение, того как правильно оценивать качество ИИ систем, в данной части поговорим про метрики характерные для RAG системы. Способах оценить полноту, точность и соответствия выдачи контексту в подобной системе. На примере библиотеки RAGAS, с разбором того, как эти метрики работают изнутри. Читать далее
Поводом настоящей статьи послужила дискуссия в комментариях к статье «Инженерная фантастика» о том, является ли инженерия частью науки или это самостоятельный вид деятельности. Мы в киберклубе попытались выработать собственное мнение по данному вопросу. И пришли к странному заключению — инженерия ни наука, ни технология, ни система и ни фантастика. Инженерия — это инженерия! Читать далее