Dataflow

Высоконагруженные приложения - Глава 12 - Будущее систем данных

Высоконагруженные приложения - Глава 12 - Будущее систем данных

Переводы: EN

Ранее книжный клуб нашей компании изучил отличную книгу:

Martin Kleppmann - Designing Data-Intensive Applications

Мартин Клеппман - Высоконагруженные приложения. Программирование, масштабирование, поддержка

Это - лучшая книга о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪

Как обычно, я подготовил краткий обзор и майнд-мапу.

Глава 12 - это саммари книги и визионерский взгляд на будущее.

  • Интеграция данных.
    • Обзор способов интеграции данных.
    • Причинность и зачем нам нужен тотальный порядок и идемпотентность.
    • Транзакции и линеаризуемость
    • Ограничения тотального порядка.
    • Лямбда-архитектура и унификация пакетной и потоковой обработки как наиболее перспективный подход.
  • Разделение баз данных.
    • Обзор выстраиваний композиции из хранилищ данных вместе.
    • Разработка приложений вокруг потока данных.
    • Использование производных состояний.
  • Стремление к правильности: какие проблемы учитывать и как с ними бороться.
    • Жетон сквозного прохода.
    • Как обрабатывать многораздельные запросы.
    • Вопросы своевременности и целостности. Извинения в бизнесе.
    • Мета-подход: доверяй, но проверяй.
  • Делать правильные вещи.
    • Предиктивная аналитика дискриминирует людей! Мы несем ответственность и подотчетность.
    • Конфиденциальность противоречит отслеживанию. Тотальный надзор должен быть законодательным и саморегулируемым.

Скачать всю майнд-мапу в PDF

Высоконагруженные приложения - Глава 10 - Пакетная обработка

Высоконагруженные приложения - Глава 10 - Пакетная обработка

Переводы: EN

Ранее книжный клуб нашей компании изучил отличную книгу:

Martin Kleppmann - Designing Data-Intensive Applications

Мартин Клеппман - Высоконагруженные приложения. Программирование, масштабирование, поддержка

Это - лучшая книга о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪

Как обычно, я подготовил краткий обзор и майнд-мапу.

Глава 10 раскрывает все аспекты пакетной обработки больших данных. Если вашей системе необходимо обрабатывать данные, ваша команда разработчиков должна изучить это.

  • Инструменты Unix для пакетной обработки и блестящей концепции пайпов.
  • MapReduce и распределенные файловые системы. Как этот подход решает проблемы пайпов Unix. Отказоустойчивость и партиционирование. Использование и реализация Joins, Grouping, Mapping. Доступные инструменты и проблемы этого подхода.
  • Что выходит за рамки MapReduce. Движки обработки данных, обработка графов, высокоуровневые API и базы данных MPP. Работа с отказоустойчивостью и партиционированием. Реализации, проблемы, что и когда использовать.

Скачать всю майнд-мапу в PDF