Работа с большими языковыми моделями не только требует серьезных вычислительных ресурсов (например, облачных GPU), но и грамотного их использования. Зачастую инженерам приходится учитывать специфические особенности работы GPU-кластеров.Сегодня обсудим примечательные материалы, посвященные работе с большими языковыми моделями (large language models, LLM) в дата-центрах и роли пограничных вычислений в развитии систем ИИ. Расскажем про ключевые находки и выводы. Читать далее
Хабр, привет! Недавно я спросил нескольких коллег — вчерашних студентов, как они представляли себе разработку в телекоме до того как пришли в эту сферу. Их ответы были очень далеки от реальности. Многие считали, что разработка в телекоме — это возня со старым…
Проблемы качества базы данных LLM[1] и необучаемости LLM в силу ограничения размеров контекстного окна сводятся к одной проблеме никак с LLM не связанной – оценке доверия к публикациям и их авторам вообще. Вторая проблема – LLM не умеет решать простые логические задачи легко решаемые
У любого ЦОД есть инженерная инфраструктура, за которой необходимо следить.Мы попросили компанию DataLine, одного из крупнейших операторов ЦОД в России, поделиться опытом.Интересно, как работает экосистема мониторинга ЦОД на основе Nagios, InfluxDB и Grafana? Тогда смело ныряй под кат Читать далее