Недавно для я озадачился проектом — создать автономного ML‑агента для табличных данных. На этапе отбора признаков логика Feature Selection казалась очевидной. Агент строит быстрый бейзлайн на LightGBM, смотрит на feature_importances_, отсекает часть и вперёд.Агент после работы отчитался: размерность снижена. Но на тесте RMSE деградировала.Оказалось, что агент отсекал часть очень важных признаков. Читать далее
Сервер лагает. Смотришь на диск — df -h говорит 95% занято. Запускаешь du -sh /* — в сумме набирается 20%. Куда делись остальные 75%? Файлы не найти, место не освободить, сервис падает.Это не баг и не магия. Это фундаментальная особенность того как Linux работает с файлами. Разберём почему так происходит и как это чинить за две команды. Читать далее
Задача казалась простой: раз в минуту сходить на сайт и сказать, работает он или нет. Первая версия уместилась в десяток строк: GET, проверка кода ответа, уведомление в Telegram. Через неделю оказалось, что почти каждая из этих строк врёт.Рассказываю, что пришлось переделать: как…
31 мая Moscow Data Science Meetup собрал в нашем офисе более 200 участников. На встрече мы поговорили о градиентном бустинге, бейзлайне на ConvAI.io и разобрали кейс, получивший 7-е место из 419 команд на конкурсе Dstl Satellite Imagery Feature Detection. Предлагаем вашему вниманию видеозаписи и презентации трёх докладов, представленных на встрече. Читать дальше →