Изучим бенчмарк для мультиагентных систем, его методологии и применение в оценке производительности агентов в сложных средах. Читать далее
Привет, Хабр! На связи Just AI. Мы уже долгое время изучаем мир AI-агентов — за это время набили немало шишек и поняли, что создание действительно эффективных и масштабируемых AI-агентов требует глубокого подхода к архитектуре.В этой статье разберем, почему один «суперагент» почти всегда превращается в монстра, как декомпозиция спасает качество и стоимость, и какие архитектуры мультиагентных систем реально работают в продакшене — с примерами из наших проектов и практическими рекомендациями. Читать далее
Ранее мы рассказали о пяти тематических open source инструментах [тут, здесь и вот тут], которые разработали и развивают специалисты, магистры и аспиранты Университета ИТМО. Сегодня поделимся еще одним направлением — им занимаются в лаборатории мультиагентных систем в умных городах и Индустрии 4.0. Читать далее
Год назад мы выложили в открытый доступ MWS AI Vision Bench — бенчмарк для оценки мультимодальных моделей на русскоязычных документах. За это время мультимодальные модели существенно шагнули вперед, метрики в VQA начали упираться в потолок, а мы добавили в бенчмарк задачу, которой критически не хватало — Anti-fraud.Под катом расскажу, как изменился бенчмарк и почему с антифродом все оказалось сложнее, чем мы думали… Читать далее