Меня разбудило уведомление в Slack. Основной ETL-конвейер снова упал. Третий раз за неделю.Тогда я сделал то, за что меня едва не уволили.Я полностью заменил систему ИИ-агентами. Не помощниками. Не «копилотами». Агентами, которые принимали решения в продакшене без запроса…
ИИ-агент может за минуты подготовить изменение, на которое у разработчика прежде уходил час. Но ускорение написания кода создаёт другую проблему: растёт нагрузка на проверку. Нужно изучить diff, понять предположения агента, проверить затронутые компоненты и убедиться, что…
Конвейер данных (Data Pipeline) - это последовательность шагов для обработки данных. Если данные еще не присутствуют в платформе данных, они поступают в начале конвейера. Затем конвейер обрабатывает данные через ряд этапов, где выход каждого этапа становится входом следующего. Этот процесс продолжается до тех пор, пока конвейер не будет завершен. В некоторых случаях независимые этапы могут выполняться одновременно. Читать далее
Мы все привыкли строить производство софта как конвейер. Продакт берёт идею, отдаёт аналитику. Аналитик пишет требования, отдаёт разработчику. Разработчик пишет код, отдаёт QA. QA проверяет, отдаёт DevOps. DevOps выкатывает в прод.Каждый знает свой участок. Каждый передаёт результат дальше. Лента сама довозит результат до пользователя.Так работало 30 лет. И вот в каждый из этих участков пришёл AI-агент. И конвейер начал барахлить. Починить конвейер? Или заменить? Узнаем!