Меня разбудило уведомление в Slack. Основной ETL-конвейер снова упал. Третий раз за неделю.Тогда я сделал то, за что меня едва не уволили.Я полностью заменил систему ИИ-агентами. Не помощниками. Не «копилотами». Агентами, которые принимали решения в продакшене без запроса…
Конвейер данных (Data Pipeline) - это последовательность шагов для обработки данных. Если данные еще не присутствуют в платформе данных, они поступают в начале конвейера. Затем конвейер обрабатывает данные через ряд этапов, где выход каждого этапа становится входом следующего. Этот процесс продолжается до тех пор, пока конвейер не будет завершен. В некоторых случаях независимые этапы могут выполняться одновременно. Читать далее
Мы все привыкли строить производство софта как конвейер. Продакт берёт идею, отдаёт аналитику. Аналитик пишет требования, отдаёт разработчику. Разработчик пишет код, отдаёт QA. QA проверяет, отдаёт DevOps. DevOps выкатывает в прод.Каждый знает свой участок. Каждый передаёт результат дальше. Лента сама довозит результат до пользователя.Так работало 30 лет. И вот в каждый из этих участков пришёл AI-агент. И конвейер начал барахлить. Починить конвейер? Или заменить? Узнаем!
Factorio — это игра про строительство фабрики, в которой множество конвейерных лент. Реализующий эти ленты код является чудом оптимизации, однако, к сожалению, он не может справляться со всеми конструкциями. Проблема с суши-конвейером Проблема возникает, когда конвейер представляет собой петлю. Поначалу помещённые на конвейер предметы работают нормально, двигаясь как возвращаемый пассажирам багаж в аэропорту. Но как только конвейер достигает полной загрузки, он останавливается. Читать дальше →