Index on Выученные Уроки (trunin.com) https://trunin.com/ru/tags/index/ Recent content in Index on Выученные Уроки (trunin.com) Hugo -- gohugo.io ru Konstantin Trunin Tue, 11 Jan 2022 00:00:00 +0000 Высоконагруженные приложения - Глава 12 - Будущее систем данных https://trunin.com/ru/2022/01/designing-data-intensive-apps-part12/ Tue, 11 Jan 2022 00:00:00 +0000 https://trunin.com/ru/2022/01/designing-data-intensive-apps-part12/ <p><em>Ранее книжный клуб нашей компании изучил отличную книгу:</em><br/></p> <blockquote> <p><a href="https://www.amazon.com/Designing-Data-Intensive-Applications-Reliable-Maintainable/dp/1449373321">Martin Kleppmann - Designing Data-Intensive Applications</a></p> <p><a href="https://www.litres.ru/martin-kleppman-1733/vysokonagruzhennye-prilozheniya-programmirov-39100996/?lfrom=6588195&amp;ref_key=2acff12fe8f1ec423d614c63053b2666f55874f30370dee8754ccb289088a16e&amp;ref_offer=1">Мартин Клеппман - Высоконагруженные приложения. Программирование, масштабирование, поддержка</a></p> </blockquote> <p><em>Это - <strong>лучшая книга</strong> о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪</em></p> <p>Как обычно, я подготовил краткий обзор и майнд-мапу.</p> <p>Глава 12 - это саммари книги и визионерский взгляд на будущее.</p> <ul> <li>Интеграция данных. <ul> <li>Обзор способов интеграции данных.</li> <li>Причинность и зачем нам нужен тотальный порядок и идемпотентность.</li> <li>Транзакции и линеаризуемость</li> <li>Ограничения тотального порядка.</li> <li>Лямбда-архитектура и унификация пакетной и потоковой обработки как наиболее перспективный подход.</li> </ul> </li> <li>Разделение баз данных. <ul> <li>Обзор выстраиваний композиции из хранилищ данных вместе.</li> <li>Разработка приложений вокруг потока данных.</li> <li>Использование производных состояний.</li> </ul> </li> <li>Стремление к правильности: какие проблемы учитывать и как с ними бороться. <ul> <li>Жетон сквозного прохода.</li> <li>Как обрабатывать многораздельные запросы.</li> <li>Вопросы своевременности и целостности. Извинения в бизнесе.</li> <li>Мета-подход: доверяй, но проверяй.</li> </ul> </li> <li>Делать правильные вещи. <ul> <li>Предиктивная аналитика дискриминирует людей! Мы несем ответственность и подотчетность.</li> <li>Конфиденциальность противоречит отслеживанию. Тотальный надзор должен быть законодательным и саморегулируемым.</li> </ul> </li> </ul> <a href="https://trunin.com/ru/2022/01/designing-data-intensive-apps-part12/images/data-intensive-apps-part12-the-future-of-data-systems_hu_2d7d2ac2ee00bc59.webp"><img srcset="https://trunin.com/ru/2022/01/designing-data-intensive-apps-part12/images/data-intensive-apps-part12-the-future-of-data-systems_hu_78de85a3a827df3.webp 800w, https://trunin.com/ru/2022/01/designing-data-intensive-apps-part12/images/data-intensive-apps-part12-the-future-of-data-systems_hu_a6372783a762cfa3.webp 1200w, https://trunin.com/ru/2022/01/designing-data-intensive-apps-part12/images/data-intensive-apps-part12-the-future-of-data-systems_hu_fbc40b654f462aa1.webp 1600w" src="https://trunin.com/ru/2022/01/designing-data-intensive-apps-part12/images/data-intensive-apps-part12-the-future-of-data-systems_hu_2d7d2ac2ee00bc59.webp" width="400" alt=""></a> <p><a href="images/data-intensive-apps-part12-the-future-of-data-systems.pdf">Скачать всю майнд-мапу в PDF</a></p> Ранее книжный клуб нашей компании изучил отличную книгу:

Martin Kleppmann - Designing Data-Intensive Applications

Мартин Клеппман - Высоконагруженные приложения. Программирование, масштабирование, поддержка

Это - лучшая книга о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪

Как обычно, я подготовил краткий обзор и майнд-мапу.

Глава 12 - это саммари книги и визионерский взгляд на будущее.

  • Интеграция данных.
    • Обзор способов интеграции данных.
    • Причинность и зачем нам нужен тотальный порядок и идемпотентность.
    • Транзакции и линеаризуемость
    • Ограничения тотального порядка.
    • Лямбда-архитектура и унификация пакетной и потоковой обработки как наиболее перспективный подход.
  • Разделение баз данных.
    • Обзор выстраиваний композиции из хранилищ данных вместе.
    • Разработка приложений вокруг потока данных.
    • Использование производных состояний.
  • Стремление к правильности: какие проблемы учитывать и как с ними бороться.
    • Жетон сквозного прохода.
    • Как обрабатывать многораздельные запросы.
    • Вопросы своевременности и целостности. Извинения в бизнесе.
    • Мета-подход: доверяй, но проверяй.
  • Делать правильные вещи.
    • Предиктивная аналитика дискриминирует людей! Мы несем ответственность и подотчетность.
    • Конфиденциальность противоречит отслеживанию. Тотальный надзор должен быть законодательным и саморегулируемым.

Скачать всю майнд-мапу в PDF

]]> Высоконагруженные приложения - Глава 3 - Подсистемы хранения и извлечение данных https://trunin.com/ru/2021/12/designing-data-intensive-apps-part03/ Mon, 27 Dec 2021 00:00:00 +0000 https://trunin.com/ru/2021/12/designing-data-intensive-apps-part03/ <p><em>Ранее в этом году книжный клуб нашей компании изучил отличную книгу:</em><br/></p> <blockquote> <p><a href="https://www.amazon.com/Designing-Data-Intensive-Applications-Reliable-Maintainable/dp/1449373321">Martin Kleppmann - Designing Data-Intensive Applications</a></p> <p><a href="https://www.litres.ru/martin-kleppman-1733/vysokonagruzhennye-prilozheniya-programmirov-39100996/?lfrom=6588195&amp;ref_key=2acff12fe8f1ec423d614c63053b2666f55874f30370dee8754ccb289088a16e&amp;ref_offer=1">Мартин Клеппман - Высоконагруженные приложения. Программирование, масштабирование, поддержка</a></p> </blockquote> <p><em>Это - <strong>лучшая книга</strong> о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪</em></p> <p>Как обычно, я подготовил краткий обзор и майнд-мапу.</p> <p>Глава 3:</p> <ul> <li>Структуры данных: <ul> <li>Log-structured. SSTables / LSM-деревья (когда мы ничего не обновляем, а пишем в конец). Очень крутая идея, как хранить данные. <ul> <li>Отсортированные файлы.</li> <li>Индексы для каждого.</li> <li>Более того, индексы могут быть созданы не для всех записей, потому что они отсортированы, и если размеры записей одинаковы, то поиск между двумя известными проиндексированными записями является бинарным поиском O(log n).</li> <li>Мы всегда пишем в последний файл.</li> <li>Процесс слияния файлов - это школьный алгоритм: как записать O(n) слияние двух отсортированных массивов в один отсортированный массив.</li> </ul> </li> <li>Обновление-на-месте. B-деревья (когда мы напрямую обновляем записи). Тоже очень умно. <ul> <li>Деревья - более простая идея, но тут классно придумано с сегментами заточенными под работу дисков - и отсюда возможные проблемы с SSD т.к. много перезаписей сегментов</li> </ul> </li> </ul> </li> <li>Индексирование: первичное, вторичное, многоколоночное, полнотекстовое <ul> <li>По поводу индексов - очевидно, что чудес не бывает и нужны дополнительные конструкции.</li> <li>Интересно, что иногда значения могут храниться внутри индексов.</li> <li>К сожалению, о полнотекстовом поиске написано очень мало - интересно узнать о нем больше.</li> </ul> </li> <li>OLTP vs OLAP. Четкое разделение OLAP / OLTP очень интересно.</li> <li>Столбцово-ориентированное хранилище. <ul> <li>Есть очень интересный аспект сжатия данных: сколько нулей, сколько единиц - своего рода компрессор. Это возможно только в памяти - только на одну следующую SSTable</li> </ul> </li> </ul> <p>Намного больше деталей в майнд-мапе:</p> Ранее в этом году книжный клуб нашей компании изучил отличную книгу:

Martin Kleppmann - Designing Data-Intensive Applications

Мартин Клеппман - Высоконагруженные приложения. Программирование, масштабирование, поддержка

Это - лучшая книга о создании комплексных масштабируемых программных систем, которые я когда-либо читал. 💪

Как обычно, я подготовил краткий обзор и майнд-мапу.

Глава 3:

  • Структуры данных:
    • Log-structured. SSTables / LSM-деревья (когда мы ничего не обновляем, а пишем в конец). Очень крутая идея, как хранить данные.
      • Отсортированные файлы.
      • Индексы для каждого.
      • Более того, индексы могут быть созданы не для всех записей, потому что они отсортированы, и если размеры записей одинаковы, то поиск между двумя известными проиндексированными записями является бинарным поиском O(log n).
      • Мы всегда пишем в последний файл.
      • Процесс слияния файлов - это школьный алгоритм: как записать O(n) слияние двух отсортированных массивов в один отсортированный массив.
    • Обновление-на-месте. B-деревья (когда мы напрямую обновляем записи). Тоже очень умно.
      • Деревья - более простая идея, но тут классно придумано с сегментами заточенными под работу дисков - и отсюда возможные проблемы с SSD т.к. много перезаписей сегментов
  • Индексирование: первичное, вторичное, многоколоночное, полнотекстовое
    • По поводу индексов - очевидно, что чудес не бывает и нужны дополнительные конструкции.
    • Интересно, что иногда значения могут храниться внутри индексов.
    • К сожалению, о полнотекстовом поиске написано очень мало - интересно узнать о нем больше.
  • OLTP vs OLAP. Четкое разделение OLAP / OLTP очень интересно.
  • Столбцово-ориентированное хранилище.
    • Есть очень интересный аспект сжатия данных: сколько нулей, сколько единиц - своего рода компрессор. Это возможно только в памяти - только на одну следующую SSTable

Намного больше деталей в майнд-мапе:

Скачать всю майнд-мапу в PDF

]]>