Крупное обновление в моем курсе Разработка LLM с нуля.Модельный ряд разрабатываемых LLM пополнился новыми моделями: GPT-2, Llama, Mistral, Mixtral, Gemma. В процессе их разработки мы реализуем новые архитектурные фишки: Pre-norm, RMSNorm, GELU, SiLU, SwiGLU, GeGLU, KV-cache, SWA, RoPE, GQA, MQA, MoE.Курс платный. Следующие две недели по промокоду TRIO предоставляется скидка 30%. Читать далее
Краткий обзор курса, который я недавно закончил пилить на степике - Разработка LLM с нуля. Этот практический курс, на котором вам предстоит создать с нуля свою собственную LLM: начиная с токенизатора и заканчивая генерацией текста. Для разработки будут использоваться только Python и низкоуровневый PyTorch, не полагаясь на какие-либо высокоуровневые библиотеки.Курс платный. Следующие две недели по промокоду FIRST предоставляется скидка 50%. Читать далее
Проблемы качества базы данных LLM[1] и необучаемости LLM в силу ограничения размеров контекстного окна сводятся к одной проблеме никак с LLM не связанной – оценке доверия к публикациям и их авторам вообще. Вторая проблема – LLM не умеет решать простые логические задачи легко решаемые
Когда мы говорим о бенчмаркинге LLM в какой-то предметной области, то имеем в виду две разные концепции: бенчмарки моделей LLM и бенчмарки систем LLM. Бенчмаркинг моделей LLM заключается в сравнении базовых моделей общего назначения (например, GPT, Mistral, Llama, Gemini, Claude и так далее). Нам не…