Все мы следим за новостями тем или иным способом — без этого нынче никуда. Я привык это делать, подписываясь на RSS-ленты, и долгое время всё было прекрасно, пока лент не стало слишком много и чтение новостей не превратилось в тяжёлую работу на пару часов в день.Не до конца понимая,…
Проблемы качества базы данных LLM[1] и необучаемости LLM в силу ограничения размеров контекстного окна сводятся к одной проблеме никак с LLM не связанной – оценке доверия к публикациям и их авторам вообще. Вторая проблема – LLM не умеет решать простые логические задачи легко решаемые
Привет! Я Ольга Лобанова, руководитель отдела качества в AGIMA. Моя главная задача на любом проекте — сделать процесс тестирования прозрачным и измеримым. Поэтому мы в компании уделяем много внимания построению инфраструктуры тестирования. В этой статье объясню, почему это важно, а заодно поделюсь нашими подходами — думаю, коллеги оценят. Интересно будет тестировщикам, руководителям проектов, техническим директорам и нашим заказчикам. Welcome. Читать далее
Когда мы говорим о бенчмаркинге LLM в какой-то предметной области, то имеем в виду две разные концепции: бенчмарки моделей LLM и бенчмарки систем LLM. Бенчмаркинг моделей LLM заключается в сравнении базовых моделей общего назначения (например, GPT, Mistral, Llama, Gemini, Claude и так далее). Нам не…