Data Storage

Дизайн хранилища типа Ключ-Значене состоит из понимания следующих тем:

• Что мы хотим от хранилища Ключ-Значение?
• Односерверное хранилище Ключ-Значение
• РАСПРЕДЕЛЕННОЕ хранилище Ключ-Значение:
  • Теорема CAP
  • Реальные компромиссы для распределенных систем
• Системные компоненты:
  • Партиционирование данных
  • Репликация данных
  • Консистентность
  • Разрешение неконсистентности: Версии
  • Обработка всех типов сбоев: Обнаружение сбоев, Обработка ВРЕМЕННЫХ сбоев, Обработка ПОСТОЯННЫХ сбоев, Устранение сбоев в работе центра обработки данных
• Схема архитектуры системы
• Путь записи
• Путь чтения

Эти пункты раскрыты в очень интересной главе 6 книги:

Ранее книжный клуб нашей компании изучил отличную книгу:

Martin Kleppmann - Designing Data-Intensive Applications

Мартин Клеппман - Высоконагруженные приложения. Программирование, масштабирование, поддержка

Это - лучшая книга о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪

Как обычно, я подготовил краткий обзор и майнд-мапу.

Глава 12 - это саммари книги и визионерский взгляд на будущее.

• Интеграция данных.
  • Обзор способов интеграции данных.
  • Причинность и зачем нам нужен тотальный порядок и идемпотентность.
  • Транзакции и линеаризуемость
  • Ограничения тотального порядка.
  • Лямбда-архитектура и унификация пакетной и потоковой обработки как наиболее перспективный подход.
• Разделение баз данных.
  • Обзор выстраиваний композиции из хранилищ данных вместе.
  • Разработка приложений вокруг потока данных.
  • Использование производных состояний.
• Стремление к правильности: какие проблемы учитывать и как с ними бороться.
  • Жетон сквозного прохода.
  • Как обрабатывать многораздельные запросы.
  • Вопросы своевременности и целостности. Извинения в бизнесе.
  • Мета-подход: доверяй, но проверяй.
• Делать правильные вещи.
  • Предиктивная аналитика дискриминирует людей! Мы несем ответственность и подотчетность.
  • Конфиденциальность противоречит отслеживанию. Тотальный надзор должен быть законодательным и саморегулируемым.

Скачать всю майнд-мапу в PDF