Здарова хабровчане! На связе лаборатория Вихрей, сегодня мы расскажем про наш бенчмарк, Шлёпа - большой русский бенчмаркЧто есть сейчас для оценки русскоязычных LLMMera - бенчмарк от Сбера, использует тесты и генерацию, сабмит через сайт, сайт почти не обновлялся с зимы. Почитать про него можно тут Читать далее
Бенчмарк для технологии манипуляции Бенчмарк предназначен для оценки эффективности применения робототехнического комплекса (РТК) в задачах манипуляции предметами по сравнению с использованием ручного человеческого труда. Бенчмарк содержит следующий набор…
«Русский человек — падок на халяву». «Русский человек — вороват». «Русский человек хочет решать дела, не вставая с печи». И, конечно, «русский человек — беден». В общем, психологический портрет онлайн-пирата, обходящего все запреты, но получающего своё бесплатно — и даже…
goader — консольный бенчмарк с простой конфигурацией и поддержкой различных бэкендов для тестирования. Название происходит от go и loader, а также имеет свое значение на английском, "подгонять копьем, палкой" На данный момент можно тестировать (аргумент -requests-engine): http (GET запросы…