В этой статье подробно описываются сложные статистические и предметно-ориентированные оценщики, которые можно использовать для оценки производительности крупных языковых моделей. В ней также рассматриваются наиболее широко используемые фреймворки оценки LLM, которые помогут вам начать оценивать производительность модели. Читать далее
Привет! Вчера вышла отличная статья от Себастьяна Рашки, которая детально разбирает основные способы оценки LLM-моделей. Глобально их можно разделить на 4 категории: оценка по бенчмаркам, использование верификаторов, лидерборды и LLM-as-a-judge. Для каждого метода есть описание и код…
Почему мы используем фреймворки? Angular, React и Vue помогают нам строить сложные веб-приложения: структурировать код, управлять состоянием и разрабатывать сложные интерфейсы. За последнее десятилетие фреймворки стали стандартом. Дорогим стандартом. С тех пор как фреймворки вошли
Привет, Хабр! Меня зовут Ирина, я аналитик по информационной безопасности в Авито. В этой статье я делюсь нашим опытом и моими личными впечатлениями о выстраивании процесса оценки и управлении рисками информационной безопасности в Авито. Рассказываю, что понадобилось для запуска и поддержки процесса оценки рисков, в чем польза такой оценки и как здесь не отставать от трендов. Мой рассказ будет интересен не только ИБ-аналитикам, риск-менеджерам, но и всем, кто интересуется темой оценки рисков. Читать далее