Автор статьи "ChatGPT и Gemini не могут справиться даже с простой математической задачкой на логику" дал простую задачу о встречных поездах ChatGPT 4-o и Gemini, которые ее провалили. Мне нравятся такие простые, наглядные и эффектные тесты, поднимающие серьезные проблемы с современными…
Проблемы качества базы данных LLM[1] и необучаемости LLM в силу ограничения размеров контекстного окна сводятся к одной проблеме никак с LLM не связанной – оценке доверия к публикациям и их авторам вообще. Вторая проблема – LLM не умеет решать простые логические задачи легко решаемые
Предположение о том, что в основе работы LLM лежат нарративная функция и голографическая природа, можно подтвердить элементарными промптами.Когда вы задаете вопрос LLM, вы получаете не ответ на него, а наиболее вероятное и логичное, с точки зрения модели, продолжение вашего вопроса. LLM не понимает, чего вы хотите. Она получает историю на вход и отдает продолжение этой истории на выходе. Читать далее
Когда мы говорим о бенчмаркинге LLM в какой-то предметной области, то имеем в виду две разные концепции: бенчмарки моделей LLM и бенчмарки систем LLM. Бенчмаркинг моделей LLM заключается в сравнении базовых моделей общего назначения (например, GPT, Mistral, Llama, Gemini, Claude и так далее). Нам не…