Хабр, привет! Это снова Антон Разжигаев, аспирант Сколтеха и научный сотрудник лаборатории Fusion Brain в Институте AIRI, где мы продолжаем углубляться в изучение языковых моделей. В прошлый раз мы выяснили, что эмбеддинги трансформеров-декодеров сильно анизотропны. На этот раз я бы хотел рассказать об их удивительной линейности, ведь нашу статью про обнаруженный эффект ("Your Transformer is Secretly Linear") несколько дней назад приняли на международную конференцию ACL! Читать далее
Привет, Хаброжители! Большие языковые модели по-прежнему просто предсказывают следующее слово. Два года назад одна лишь эта причина казалось достаточной, чтобы их отвергать — ведь именно ею обосновывали их неуклюжий вывод. Но в настоящее время большие языковые модели стали гораздо лучше, и одним лишь масштабированием этого не объяснить. Читать далее
Большие языковые модели (LLM) звучат впечатляюще, но всегда ли нужно их использовать? Разберемся, в каких случаях стоит использовать LLM, а когда использование малых языковых моделей (SLM) окажется более разумным и экономичным решением без потери качества. Читать далее
Книги про большие языковые модели сегодня выходят с той же скоростью, с какой сами эти модели генерируют текст. Зайдите в любой крупный книжный магазин — не важно, в оффлайновый или электронный — и вы увидите широчайший ассортимент названий, где присутствуют GPT, LLM и…