Работа с большими языковыми моделями не только требует серьезных вычислительных ресурсов (например, облачных GPU), но и грамотного их использования. Зачастую инженерам приходится учитывать специфические особенности работы GPU-кластеров.Сегодня обсудим примечательные материалы, посвященные работе с большими языковыми моделями (large language models, LLM) в дата-центрах и роли пограничных вычислений в развитии систем ИИ. Расскажем про ключевые находки и выводы. Читать далее
Хабр, привет! Недавно я спросил нескольких коллег — вчерашних студентов, как они представляли себе разработку в телекоме до того как пришли в эту сферу. Их ответы были очень далеки от реальности. Многие считали, что разработка в телекоме — это возня со старым…
Проблемы качества базы данных LLM[1] и необучаемости LLM в силу ограничения размеров контекстного окна сводятся к одной проблеме никак с LLM не связанной – оценке доверия к публикациям и их авторам вообще. Вторая проблема – LLM не умеет решать простые логические задачи легко решаемые
Когда мы говорим о бенчмаркинге LLM в какой-то предметной области, то имеем в виду две разные концепции: бенчмарки моделей LLM и бенчмарки систем LLM. Бенчмаркинг моделей LLM заключается в сравнении базовых моделей общего назначения (например, GPT, Mistral, Llama, Gemini, Claude и так далее). Нам не…