Stream

Четвертый шаблон для создания микросервисов — использование легковесных фреймворков.

Легковесные фреймворки предоставляют функциональность, аналогичную тяжеловесным фреймворкам, но они в значительной степени зависят от:

• брокера событий
• системы управления контейнерами (CMS)

Во многих случаях они превосходят тяжеловесные фреймворки.

Различные приложения могут использовать любые/разные ресурсы из кластера, которые лучше соответствуют их потребностям. При этом по-прежнему обеспечивают масштабирование и восстановление после сбоев (опять же, сильно полагаясь на брокера событий и CMS).

К сожалению, на данный момент есть только два полнофункциональных варианта:

Управляемая событиями модель, сильно зависит от КАЧЕСТВА событий.

События хорошего качества:

• явно определены через контракты
• содержат комментарии
• поддерживают эволюцию с обратной и прямой совместимостью
• поддерживают генерацию кода
• ломающие изменения хорошо продуманы

События хорошего качества реализуются с помощью правильных инструментов:

• используйте форматы Avro/Thrift/Protobuf и никогда не используйте JSON!
• используйте правильный брокер событий (например, Pulsar)

События хорошего качества проектируются так, чтобы:

• содержать всю информацию, необходимую потребителям
• использовать отдельные потоки для каждого типа событий
• использовать правильные типы данных для своих полей (не используйте строки для чисел, используйте перечисления и т.д.)
• не используйте поле задающее тип данных и другие поля на его основе
• быть как можно меньше в размерах
• учитывать требования потребителей
• не быть просто сигналами, а содержать всю информацию, необходимую потребителям

Эти темы раскрыты в главе 3 книги, которую мы сейчас изучаем:

Ранее книжный клуб нашей компании изучил отличную книгу:

Martin Kleppmann - Designing Data-Intensive Applications

Мартин Клеппман - Высоконагруженные приложения. Программирование, масштабирование, поддержка

Это - лучшая книга о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪

Как обычно, я подготовил краткий обзор и майнд-мапу.

Глава 11 раскрывает все аспекты потоковой обработки. Если вашей системе необходимо обрабатывать некоторые данные на лету, ваша команда разработчиков должна изучить эту информацию.

• Подходы для передачи событий: прямой обмен сообщениями, системы обмена сообщениями и партиционированные журналы. Их реализации, плюсы и минусы.
• Как использовать потоки для баз данных. Синхронизация баз данных, Change Data Capture (CDC), Event Sourcing. Состояние, потоки и иммутабельность.
• Нюансы обработки потоков. Полезные варианты использования, рассуждения о времени, 3 типа потоковых joins, отказоустойчивость.

Скачать всю майнд-мапу в PDF