Пример паттерна Pub/Sub на Go с подробным описанием кода. Пример подходит для знакомства с паттерном в процессе обучения, собеседования. В статье есть ссылка на полноценную библиотеку, созданную на основе данного примера. Читать далее
Коннектор Redis для redb.Route: все структуры данных как шаги маршрута, Pub/Sub, Streams с группами потребителей, список как очередь и Claim Check на Redis.В интеграционном проекте Redis редко бывает чем-то одним. Это кэш ответов внешних систем, счётчики и блокировки, шина событий через Pub/Sub, журнал…
Существует множество способов обработки сообщений из Pub-Sub систем: использование отдельного сервиса, выделение изолированного процесса, оркестрация пулом процессов/потоков, сложные IPC, Poll-over-Http и многие другие. Сегодня я хочу рассказать о том, как использовать Pub-Sub по HTTP и про…
В данный момент занимаюсь задачей стриминга (и преобразования) данных. В некоторых кругах такой процесс известен как ETL, т.е. извлечение, преобразование и загрузка информации. Весь процесс включает в себя участие следующих сервисов Google Cloud Platform: Pub/Sub — сервис для realtime стриминга данных Dataflow — сервис для преобразования данных (может работать как в realtime так и в batch режиме) BigQuery — сервис для хранения данных в виде таблиц (поддерживает SQL) Читать дальше →