Бенчмарки нужны для того, чтобы инженер мог проверить свой проект, посмотреть на конкурентов и сравнить себя с ними. У каждого бенчмарка своя цель.ARC-AGI-3 создан фондом ARC Prize Foundation, основатель Франсуа Шолле, для оценки общего интеллекта и способности ИИ-агентов к обучению. Сложные…
Франсуа Шолле, создатель фреймворка Keras и основатель ARC Prize Foundation, поделился итогами тестов новой модели o3 от OpenAI в тестах бенчмарка ARC-AGI-Pub. Эта модель достигла впечатляющего результата — 75,7% на полу-приватном наборе оценки при соблюдении установленного публичного лимита…
Только что закончился ARC-AGI-3.Пока в памяти свежо, хочется рассказать некоторые детали и поделиться впечатлениями от участия. Читать далее
Открываешь новости и там пишут, что AGI уже завтра. В другом источнике, с таким же уверенным видом, что до настоящего AGI ещё десять лет. Потому что нынешние модели живут в чате и в демо, а не в цеху с людьми, сроками и поломками оборудования. Хочется хотя бы понять, о каком именно AGI…