Недавно я участвовал в корпоративном хакатоне по обходу ИИ-песочниц. Задача: пройти закрытый бенчмарк PAC1, где ИИ-агенту нужно работать с виртуальной файловой системой (чтение логов, поиск файлов, отправка писем) и обходить ловушки безопасности (Indirect Prompt Injections).Но реальность…
27 июля Moonshot AI открыла веса Kimi K3 и опубликовала результаты модели на coding- и агентных бенчмарках. Мы проверили, как эти показатели переносятся на рабочие операции с файлами, счетами, корзинами, платежами, возвратами и отчётами. Kimi K3 прошла 204 задачи PAC1 и ECOM1 и набрала 61/104 и 44,75/100. В…
Год назад мы выложили в открытый доступ MWS AI Vision Bench — бенчмарк для оценки мультимодальных моделей на русскоязычных документах. За это время мультимодальные модели существенно шагнули вперед, метрики в VQA начали упираться в потолок, а мы добавили в бенчмарк задачу, которой критически не хватало — Anti-fraud.Под катом расскажу, как изменился бенчмарк и почему с антифродом все оказалось сложнее, чем мы думали… Читать далее
Бенчмарк для технологии манипуляции Бенчмарк предназначен для оценки эффективности применения робототехнического комплекса (РТК) в задачах манипуляции предметами по сравнению с использованием ручного человеческого труда. Бенчмарк содержит следующий набор…