Architecture

Высоконагруженные приложения - Глава 7 - Транзакции

Ранее книжный клуб нашей компании изучил отличную книгу:

Это - лучшая книга о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪

Как обычно, я подготовил краткий обзор и майнд-мапу.

Глава 7 - это все, что ваша команда разработчиков должна знать о транзакциях:

Предназначение транзакций
Концепция транзакций: ACID, BASE, одно-объектные и много-объектные транзакции.
Уровни слабой изоляции: Read Committed, Snapshot Isolation и Repeatable Read. Проблемы и их предотвращение: утерянные обновления, перекосы при записи и фантомы
Serializability и три подхода: фактическое последовательное выполнение, двухфазная блокировка (2PL), изоляция сериализуемых снэпшотов (SSI). Возможные проблемы и производительность.

Скачать всю майнд-мапу в PDF

Высоконагруженные приложения - Глава 6 - Партиционирование

Ранее книжный клуб нашей компании изучил отличную книгу:

Это - лучшая книга о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪

Как обычно, я подготовил краткий обзор и майнд-мапу.

Глава 6 содержит все, что следует учитывать команде разработчиков при проектировании хранилища для больших данных:

Партиция, она же шард, она же регион, он же tablet, она же vNode, она же vBucket. Это еще один подход к хранению данных в дополнение к Репликации (рассмотренной в предыдущей главе).
Как партиционировать данные со структурой ключ-значение (первичный индекс). Проблемы с партиционированием - skew и hotspot. Подходы: диапазон ключа и хэш ключа.
Партиционирование для вторичных индексов: локальный индекс и глобальный индекс
Ребалансировка партиций по мере роста. Плохие и хорошие подходы, проблемы и способы их решения. Ручная и автоматическая перебалансировка.
Маршрутизация запросов. Разные подходы, проблемы и решения.

Скачать всю майнд-мапу в PDF

Высоконагруженные приложения - Глава 5 - Репликация

Ранее книжный клуб нашей компании изучил отличную книгу:

Это - лучшая книга о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪

Как обычно, я подготовил краткий обзор и майнд-мапу.

Глава 5:

Вступление. Как масштабировать приложения. Репликация и партиционирование.
Три алгоритма репликации
Репликация с одним лидером
- Лидеры и последователи
- Синхроная и асинхронная репликация
- Добавление новых последователей
- Обработка перебоев в работе узлов
- Технические реализации и все возможные проблемы
Многолидерная репликация
- Случаи использования, когда это хорошо
- Обработка конфликтов на запись
- Три топологии и потенциальные проблемы
Репликация без лидера
- Запись в базу данных, когда узел не работает
- Кворумы и проблемы с ними
- Обнаружение одновременных записей и способы разрешения конфликтов

Скачать всю майнд-мапу в PDF

Высоконагруженные приложения - Глава 4 - Кодирование и эволюция

Ранее в этом году книжный клуб нашей компании изучил отличную книгу:

Это - лучшая книга о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪

Как обычно, я подготовил краткий обзор и майнд-мапу.

Глава 4:

Что такое эволюционируемость. Обратная и прямая совместимость
Подходы к кодированию данных:
- JSON, XML и их двоичные варианты
- Thrift и Protobuf
- Apache Avro
Модели работы с потоком данных
- Через базы данных
- Через сервисы: REST, SOAP, RPC и их будущее развитие
- Через брокеры сообщений - когда они лучше, а когда нет

Намного больше деталей в майнд-мапе:

Высоконагруженные приложения - Глава 3 - Подсистемы хранения и извлечение данных

Ранее в этом году книжный клуб нашей компании изучил отличную книгу:

Это - лучшая книга о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪

Как обычно, я подготовил краткий обзор и майнд-мапу.

Глава 3:

Структуры данных:
- Log-structured. SSTables / LSM-деревья (когда мы ничего не обновляем, а пишем в конец). Очень крутая идея, как хранить данные.
  - Отсортированные файлы.
  - Индексы для каждого.
  - Более того, индексы могут быть созданы не для всех записей, потому что они отсортированы, и если размеры записей одинаковы, то поиск между двумя известными проиндексированными записями является бинарным поиском O(log n).
  - Мы всегда пишем в последний файл.
  - Процесс слияния файлов - это школьный алгоритм: как записать O(n) слияние двух отсортированных массивов в один отсортированный массив.
- Обновление-на-месте. B-деревья (когда мы напрямую обновляем записи). Тоже очень умно.
  - Деревья - более простая идея, но тут классно придумано с сегментами заточенными под работу дисков - и отсюда возможные проблемы с SSD т.к. много перезаписей сегментов
Индексирование: первичное, вторичное, многоколоночное, полнотекстовое
- По поводу индексов - очевидно, что чудес не бывает и нужны дополнительные конструкции.
- Интересно, что иногда значения могут храниться внутри индексов.
- К сожалению, о полнотекстовом поиске написано очень мало - интересно узнать о нем больше.
OLTP vs OLAP. Четкое разделение OLAP / OLTP очень интересно.
Столбцово-ориентированное хранилище.
- Есть очень интересный аспект сжатия данных: сколько нулей, сколько единиц - своего рода компрессор. Это возможно только в памяти - только на одну следующую SSTable

Намного больше деталей в майнд-мапе:

Высоконагруженные приложения - Глава 2 - Модели данных и языки запросов

Ранее в этом году книжный клуб нашей компании изучил отличную книгу:

Это - лучшая книга о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪

Как обычно, я подготовил краткий обзор и майнд-мапу.

Глава 2:

Что такое модель данных.
Различные отношения между данными.
Реляционные, документные, графовые модели данных. Какая лучше и когда.
Схема-на-запись, схема-на-чтение (без схемы). Локальность данных.
Языки запросов: императивный, декларативный, MapReduce. Почему NoSQL переизобретает SQL 😀
Хранение графов. Языки запросов для графов: Cypher, SPARQL, Datalog.

Скачать всю майнд-мапу в PDF

Высоконагруженные приложения - Глава 1 - Надежные, масштабируемые и удобные в сопровождении приложения

Ранее в этом году книжный клуб нашей компании изучил отличную книгу:

Это - лучшая книга о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪

Как обычно (чтобы лучше усвоить) я подготовил краткий обзор и майнд-мапу.

Глава 1:

Строительные блоки приложений
Что такое надежность, масштабируемость и ремонтопригодность. Примеры и определения.
- Неисправности и отказы
- Производительность, нагрузка, задержка и время отклика
- Работоспособность, простота, эволюционируемость
Почему вы должны убивать свои сервера случайным образом 😅
Как Twitter доставляет 12 000 твитов в секунду до 300 000 пользователей в секунду. (Очень интересно!)
Сколько денег Amazon теряет за каждые 100мс задержки ответа
Как быстро рассчитать персентили для мониторинга времени отклика в PROD

Скачать всю майнд-мапу в PDF

Чистая Архитектура - Часть IV - Принципы дизайна

Книжный клуб у нас в компании выбрал следующую чудесную книгу для чтения:

Четвертая часть книги посвящена принципам объединения компонентов в программные системы.

Эта часть более интересна. Она содержит:

Обзор истории компонентов: возможность перемещения в памяти, линкеры
Три принципа связности компонентов
- REP: Принцип эквивалентности повторного использования и выпусков
- CCP: Принцип согласованного изменения
- CRP: Принцип совместного повторного использования
Три принципа соединения компонентов
- ADP: Принцип ацикличности зависимостей
- SDP: Принцип устойчивых зависимостей
- SAP: Принцип устойчивости абстракций

Мне особенно понравилась эта глава из-за представленных метрик, которые можно использовать для измерения (!) хорошего дизайна ПО (точнее говоря того, как вы следуете некоторым принципам дизайна)

Чистая Архитектура - Часть III - Принципы дизайна

Книжный клуб у нас в компании выбрал следующую чудесную книгу для чтения:

👍

Третья часть книги посвящена принципам SOLID.

Принцип единственной ответственности: модуль должен быть ответственным перед одним и только одним действующим лицом.
Принцип открытости-закрытости: программный артефакт должен быть открыт для расширения, но закрыт для модификации.
Принцип подстановки Барбары Лисков: S является подтипом T, если вместо экземпляра T мы всегда можем использовать экземпляр S
Принцип разделения интерфейсов: используйте интерфейсы для уменьшения зависимости от изменений.
Принцип инверсии зависимостей: избегайте зависимостей от летучих конкретных элементов.

Ничего нового отсюда я не узнал (но я занимаюсь разработкой программного обеспечения уже более 20 лет;). Тем не менее, это все же хорошее обобщение основных принципов проектирования. И о них стоит помнить.

Сравнение Front-end фреймворков: Angular, React, Vue

При запуске нового проекта по разработке ПО необходимо выбрать технологию для Frontend. В настоящее время существуют три ведущие технологии: Angular, React и Vue.

Но как выбрать из них?

Наша команда имеет опыт работы со всеми из них, но обычно выбор делается на основе «кто доступен в команде, и что они предпочитают».

Я хотел более глубокое сравнение плюсов и минусов, и я нашел его в отличном коротком курсе Udemy:

React JS, Angular & Vue JS - Quickstart & Comparison