Проектирование систем за 40 уроков

Изучите проектирование систем за 40 уроков с анимацией. Разберитесь в балансировке нагрузки, кешах, базах данных и очередях, затем спроектируйте чат.

Что происходит при загрузке страницы в браузере?

При первом посещении по TCP и TLS браузер определяет адрес домена, открывает защищённое соединение и отправляет HTTP-запрос. Затем он отображает ответ сервера.

Найти адрес (DNS)

Сети маршрутизируют по числовому IP-адресу, а не по имени. Поэтому браузер сначала спрашивает DNS-резолвер: где shop.example?

Ответ (203.0.113.7) приходит примерно через 20 мс.

RFC 1034 — Domain Names: Concepts and Facilities

Открыть соединение

Теперь браузер открывает соединение с 203.0.113.7. TCP-рукопожатие договаривается о разговоре, TLS-рукопожатие настраивает шифрование. Каждому нужен обмен туда и обратно (round trip).

Здесь обмен занимает 30 мс, так что соединение стоит 60 мс ещё до того, как запрошен хоть один байт страницы.

Отправить запрос

По открытому соединению браузер отправляет GET /products. Сервер разбирает его, проверяет сессию и запускает ваш код.

Это стоит ещё одного обмена плюс ~10 мс работы сервера.

Сервер спрашивает базу данных

Товары живут не на веб-сервере, а в базе данных. Сервер отправляет запрос и ждёт, пока вернутся строки.

Посмотрите, как запрос проходит весь путь туда, а ответ — весь путь обратно.

Ответ возвращается домой

Сервер превращает строки в HTML и отправляет обратно; загрузка занимает ещё 20 мс. Браузер отрисовывает страницу через 155 мс после нажатия Enter.

Затем он замечает на странице картинки и стили и отправляет новые запросы. Повторное использование открытого соединения избавляет их от рукопожатия.

Курс

Основы

  • Путь запроса

    Пройдите вместе с загрузкой одной страницы шаг за шагом и узнайте, куда на самом деле уходит время.

  • Задержка и пропускная способность

    Два вопроса о скорости — и почему загруженные серверы тормозят ещё до того, как заполнятся.

  • Прикидки на салфетке

    Превратите идею продукта в серверы и терабайты с помощью расчётов, которые умещаются на салфетке.

Масштабирование

  • Вертикально или горизонтально

    Ваш единственный сервер плавится. Купить сервер побольше или ещё несколько?

  • Балансировка нагрузки

    Одна входная дверь для многих серверов и правила, кому какой запрос достаётся.

  • Сервисы без состояния

    Почему следующий запрос должен работать на любом сервере — и куда вместо этого девается состояние.

  • Кэширование

    Держите самые востребованные ответы там, где они достаются гораздо быстрее, чем из базы данных.

  • Доставка контента

    Копируйте то, что скачивают все, на серверы рядом с пользователями — и перестаньте бороться со скоростью света.

Данные и хранение

  • SQL или NoSQL

    Таблицы, документы или просто ключи — в чём хорош каждый вид баз данных и чем он жертвует.

  • Индексы

    Почему один и тот же запрос может занимать две секунды или две миллисекунды.

  • Движки хранения

    Что база данных на самом деле делает с вашей записью — и почему одни созданы для чтения, а другие для записи.

  • Репликация

    Держите копии базы на нескольких машинах: ради большего числа чтений и ради выживания.

  • Шардинг

    Когда данные или записи перерастают одну машину, разделите их между многими.

  • Консистентное хеширование

    Добавляйте или убирайте серверы, перемещая лишь тонкий ломтик данных.

  • Уникальные ID в масштабе

    Как дать каждой строке имя, которое больше никто никогда не использует, без единого счётчика, к которому все стоят в очереди.

  • CAP и согласованность

    Когда сеть разрывается, копии ваших данных должны выбирать между правотой и доступностью.

  • Консенсус и лидеры

    Как группа серверов договаривается об одном лидере и одной истории — даже когда часть из них недоступна.

  • Транзакции и изоляция

    Два человека, одно место, одна и та же миллисекунда. Как базы данных сохраняют корректность при одновременных изменениях.

  • Файлы и медиа

    Фото и видео не место в базе данных: куда они идут вместо неё и как попадают туда и обратно.

Взаимодействие

  • REST, RPC и GraphQL

    Три способа, которыми программы просят друг у друга данные, и чего каждый стоит телефону в 4G.

  • Очереди сообщений

    Ответить сразу, медленную работу сделать потом и ни одной задачи не потерять по дороге.

  • Pub/Sub и события

    Объявить, что что-то произошло, и дать отреагировать всем, кому это важно, — никто не ждёт.

  • Обновления в реальном времени

    Как сервер сообщает вам, что что-то произошло: чат, живые счета матчей, уведомления.

Надёжность

  • Резервирование и failover

    Рано или поздно ломается всё. Проектируйте так, чтобы ни один отдельный сбой вас не уронил.

  • Ограничение частоты

    Дайте каждому клиенту честный бюджет, чтобы один взбесившийся скрипт не уронил всех.

  • Таймауты и повторы

    Как безопасно вызывать сервис в беде: вовремя сдаться, осторожно повторить и знать, когда остановиться.

  • Наблюдаемость

    Метрики, логи и трейсы: как быстро понять, что сломалось, где и почему.

Архитектура

Безопасность

  • Аутентификация

    Доказать, кто есть кто, — и не стать причиной утечки чьего-то пароля.

  • Авторизация

    Знать, кто человек, не значит знать, что ему можно видеть или делать. Проверять это — везде.

  • Шифрование и секреты

    Защита данных в сети и на диске, а также ключей и паролей, которыми пользуются ваши сервисы.

Поставка

  • Тестирование

    Узнать, что изменение безопасно, раньше пользователей: быстрые тесты для логики, несколько медленных для всего остального.

  • CI/CD и деплой

    Доставлять каждое изменение в продакшен быстро и безопасно, и так же быстро откатывать.

Целые системы

  • HLD и LLD

    Одна и та же система при двух масштабах: карта сервисов и устройство одного из них.

  • Проектируем сокращатель ссылок

    Первый сквозной дизайн: от брифа в одну строку до системы, которая обслуживает миллиарды редиректов.

  • Проектируем новостную ленту

    Посты всех, на кого вы подписаны, за 200 мс — и вопрос, когда делать работу.

  • Проектируем чат

    Двадцать миллионов открытых соединений и одно обещание: каждое сообщение доходит, по порядку, ровно один раз.

Технические источники