Привет Хабр! Меня зовут Кирилл Овчинников, я работаю в Сбере и по работе у меня есть доступ к различным большим языковым моделям, включая наш собственный GigaChat. Но речь сегодня пойдёт не столько о корпоративных возможностях, сколько о довольно неожиданной проблеме, с которой…
Когда мы говорим о бенчмаркинге LLM в какой-то предметной области, то имеем в виду две разные концепции: бенчмарки моделей LLM и бенчмарки систем LLM. Бенчмаркинг моделей LLM заключается в сравнении базовых моделей общего назначения (например, GPT, Mistral, Llama, Gemini, Claude и так далее). Нам не…
О токенах, используемых в операционных системах семейства Windows слышали многие, ведь они являются важным звеном, участвующим в контексте безопасности всей операционной системы. Данная статья является результатом моих наработок о токенах. В ходе написания данного материала я ставил перед собой следующие вопросы: откуда берутся токены? как устроены токены? как это работает на практике? Читать далее
А вы задумывались, как текстовые нейросети видит текст, который мы им отправляем, если она сама мыслит цифрами?В данной статье мы разберём как нейросеть видит текст, который мы ей отправили, познакомимся очень близко с термином ТОКЕНЫ, и даже сами создадим те самые токены на Python. Узнать о ТОКЕНАХ