Трансформеры - это отличные нейросети для работы с текстом, речью, изображениями и другими типами данных, но они сталкиваются с проблемой ограниченной длины контекста, к которому они могут обращаться. Чем длиннее последовательность, тем больше вычислений требуется для того,…
Работа с большими языковыми моделями не только требует серьезных вычислительных ресурсов (например, облачных GPU), но и грамотного их использования. Зачастую инженерам приходится учитывать специфические особенности работы GPU-кластеров.Сегодня обсудим примечательные материалы, посвященные работе с большими языковыми моделями (large language models, LLM) в дата-центрах и роли пограничных вычислений в развитии систем ИИ. Расскажем про ключевые находки и выводы. Читать далее
Всем привет! На связи команда AI-Run из X5 Tech, мы занимаемся генеративными сетями в целом и языковыми моделями в частности. В этой статье мы опишем наш опыт работы с большими языковыми моделями (LLM), их внедрение для обработки корпоративных данных, а также поделимся нашими…
После прочтения зарубежного исследования предвзятости GPT, где автор генерировал людей большими языковыми моделями, решил повторить эксперимент с русскоязычными моделями. Как выглядит типичный день человека: его пол, возраст, профессия и типичный распорядок дня по мнению нейросетей от Яндекса, Сбера, Т‑Банка и ещё одной зарубежной компании читайте в этой статье. Читать далее