Компания OpenAI, известная разработкой топовых языковых моделей, сделала важный шаг навстречу открытому сообществу, представив две передовые open-source модели — GPT-OSS-120b и GPT-OSS-20b. Этот релиз знаменует возвращение компании к изначальной идее открытого распространения своих технологий…
???? ОписаниеНа этой неделе разбираем релиз GPT-OSS — первых полностью открытых моделей OpenAI с момента GPT-2 в 2019 году. Две модели: gpt-oss-20b и gpt-oss-120b представляют собой современные LLM с архитектурой MoE (Mixture of Experts), оптимизированные для рассуждений и способные работать на одном GPU благодаря квантованию MXFP4. Читать далее
Привет! Меня зовут Максим Морозов, я AI project manager в Битрикс24.В эпоху тотальной цифровизации даже малому бизнесу необходимо использовать искусственный интеллект — анализировать отзывы, автоматизировать рутину или создавать чат-ботов. Но облачные API (OpenAI, Claude) обходятся дорого, и не все готовы передавать данные третьим лицам из-за требований конфиденциальности. Решение? Локальные нейросети на собственном «железе». Читать далее
У меня возникла идея проверить насколько различается скорость инференса LLM моделей не только в сравнении CPU и GPU, но и между младшими моделями со старшими при обработке без использования GPU. Для сравнения я выбрал модель gpt-oss:20b (размер модели 14Гб) и gpt-oss:120b (размер модели 65Гб). Запустил тест моделей я на компьютере с процессором Intel Core I9 14900K и 192Гб оперативной памяти. Читать далее