При поиске параллельных корпусов для своих нужд, — это может быть обучение модели машинного перевода или изучение иностранного языка, можно столкнуться с тем, что их не так уж и много, особенно, если речь идет не об английском, а каком-то редком языке. В этой статье мы попробуем…
Manticore Search 29.9.0: chunked auto-embeddings и mmap-доступ к columnar-атрибутамManticore Search 29.9.0 добавляет chunked и multi-vector auto-embeddings, ограничение входа для embedding-моделей, UTF-8 идентификаторы, mmap-доступ к columnar-атрибутам по умолчанию, а также исправления для hybrid search, KNN, bulk ingestion и группировки. Читать далее
Привет, Хабр.Иногда можно столкнуться с ситуацией, когда простые текстовые эмбеддинги не могут распознать контекст слова, и в итоге тот же “python” моделируется как змея, а не язык программирования (или наоборот). Мы поговорим о том, что такое Sense Embeddings, почему контекстно-зависимые модели всё ещё могут путаться, и как решить задачу омонимии. Читать далее
Отзывы пользователей — один из самых ценных источников информации о продукте, при этом часто клиенты описывают одну и ту же тему или проблему десятками разных слов. Раньше работать с фидбэком было долго и ресурсоемко, но с появлением Embeddings и LLM это изменилось. Читать далее