Привет, Хабр!В прошлом году одним из направлений работы R&D команды в AI VK были энкодеры текстов: модели, которые преобразуют любой текст, от анекдота до официального запроса в техподдержку, в векторное представление — эмбеддинг. Эмбеддинги отражают…
Однажды при мне два ИИ экcперта закусились на тему какая модель лучше извлекает именованные данные на русском языке: RuModernBERT или multilingual-e5-base. Я послушал их аргументы и решил поставить небольшой эксперимент на реальных данных (благо данных хоть отбавляй).Итак, условия NER задачи: Читать далее
Пока все говорят про LLM агентов, есть целый класс задач где 205M энкодер делает ту же работу что ChatGPT — быстрее, дешевле, без vendor lock‑in. Я хочу рассказать про эволюцию энкодеров, которую вы возможно пропустили: начиная от UniNER, заканчивая GLiNER 2, с ключевыми инсайтами на каждом шаге. Читать далее
Привет, Хабр! Если вы интересуетесь NLP или просто современными DL моделями, то приглашаю вас узнать, как можно, имея всего лишь одну A100, около 30 гигабайтов текста и несколько дней обучения, решить проблему ограниченного окна контекста для русскоязычных трансформеров. А ещё сделаем несколько оптимизаций и добьёмся почти лучших метрик в бенчмарке encodechka. Погрузиться в контекст