Крупное обновление в моем курсе Разработка LLM с нуля.Модельный ряд разрабатываемых LLM пополнился новыми моделями: GPT-2, Llama, Mistral, Mixtral, Gemma. В процессе их разработки мы реализуем новые архитектурные фишки: Pre-norm, RMSNorm, GELU, SiLU, SwiGLU, GeGLU, KV-cache, SWA, RoPE, GQA, MQA, MoE.Курс платный. Следующие две недели по промокоду TRIO предоставляется скидка 30%. Читать далее
Краткий обзор курса, который я недавно закончил пилить на степике - Разработка LLM с нуля. Этот практический курс, на котором вам предстоит создать с нуля свою собственную LLM: начиная с токенизатора и заканчивая генерацией текста. Для разработки будут использоваться только Python и низкоуровневый PyTorch, не полагаясь на какие-либо высокоуровневые библиотеки.Курс платный. Следующие две недели по промокоду FIRST предоставляется скидка 50%. Читать далее
Привет, Хабр! Меня зовут Владимир, и я давно хотел погрузиться во вселенную Warhammer40K. Для погружение во вселенную я решил обучить LLM на лоре Warhammer40K. И чтобы было интереснее, код этой LLM я решил написать сам, на голом pytorch (ну почти).Данная статья - первая в цикле статей по созданию и обучению GPT-like LLM с нуля. В них я постараюсь рассказать, как работают Decoder-only модели, как обучить небольшую LLM, сколько это заняло у меня времени. Читать далее
Model Context Protocol (MCP) — это единый стандарт разработки API для сервисов, с которыми могут взаимодействовать LLM.В этой статье на простом примере разберем, как создать свой MCP-сервер и как использовать его в связке с LLM.Мои курсы: Разработка LLM с нуля | Алгоритмы Машинного обучения с нуля Читать далее