Проєктування систем за 40 уроків

Опануйте проєктування систем за 40 уроків з анімаціями. Вивчіть балансування навантаження, кеші, бази даних і черги та спроєктуйте чат.

Що відбувається, коли браузер завантажує сторінку?

Під час першого відвідування через TCP і TLS браузер визначає адресу домену, відкриває захищене з’єднання й надсилає HTTP-запит. Потім він відображає відповідь сервера.

Знайти адресу (DNS)

Мережі маршрутизують за числовою IP-адресою, а не за іменем. Тож браузер спершу питає DNS-резолвер: де shop.example?

Відповідь (203.0.113.7) приходить приблизно за 20 мс.

RFC 1034 — Domain Names: Concepts and Facilities

Відкрити з’єднання

Тепер браузер відкриває з’єднання з 203.0.113.7. TCP-рукостискання домовляється про розмову, TLS-рукостискання налаштовує шифрування. Кожному потрібен обмін туди й назад (round trip).

Тут обмін триває 30 мс, тож з’єднання коштує 60 мс ще до того, як запитано бодай один байт сторінки.

Надіслати запит

Відкритим з’єднанням браузер надсилає GET /products. Сервер розбирає його, перевіряє сесію і запускає ваш код.

Це коштує ще одного обміну плюс ~10 мс роботи сервера.

Сервер питає базу даних

Товари живуть не на вебсервері, а в базі даних. Сервер надсилає запит і чекає, поки повернуться рядки.

Подивіться, як запит проходить увесь шлях туди, а відповідь — увесь шлях назад.

Відповідь повертається додому

Сервер перетворює рядки на HTML і надсилає назад; завантаження займає ще 20 мс. Браузер малює сторінку через 155 мс після натискання Enter.

Далі він помічає на сторінці зображення й стилі та надсилає нові запити. Повторне використання відкритого з’єднання позбавляє їх рукостискання.

Курс

Основи

  • Шлях запиту

    Пройдіть разом із завантаженням однієї сторінки крок за кроком і дізнайтеся, куди насправді йде час.

  • Затримка і пропускна здатність

    Два питання про швидкість — і чому завантажені сервери гальмують ще до того, як заповняться.

  • Прикидки на серветці

    Перетворіть ідею продукту на сервери й терабайти за допомогою розрахунків, що вміщаються на серветці.

Масштабування

  • Вертикально чи горизонтально

    Ваш єдиний сервер плавиться. Купити більший чи ще кілька?

  • Балансування навантаження

    Одні вхідні двері для багатьох серверів і правила, кому який запит дістається.

  • Сервіси без стану

    Чому наступний запит має працювати на будь-якому сервері — і куди натомість подівається стан.

  • Кешування

    Тримайте найпопулярніші відповіді там, де вони дістаються набагато швидше, ніж із бази даних.

  • Доставка контенту

    Копіюйте те, що завантажують усі, на сервери поруч із користувачами — і припиніть боротися зі швидкістю світла.

Дані та зберігання

  • SQL чи NoSQL

    Таблиці, документи чи просто ключі — у чому добрий кожен вид баз даних і чим він жертвує.

  • Індекси

    Чому той самий запит може тривати дві секунди або дві мілісекунди.

  • Рушії зберігання

    Що база даних насправді робить із вашим записом — і чому одні створено для читання, а інші для запису.

  • Реплікація

    Тримайте копії бази на кількох машинах: заради більшої кількості читань і заради виживання.

  • Шардинг

    Коли дані чи записи переростають одну машину, розділіть їх між багатьма.

  • Консистентне хешування

    Додавайте чи прибирайте сервери, переміщуючи лише тонкий шматочок даних.

  • Унікальні ID у масштабі

    Як дати кожному рядку ім’я, якого більше ніхто ніколи не використає, без єдиного лічильника, до якого всі стоять у черзі.

  • CAP і узгодженість

    Коли мережа розривається, копії ваших даних мають обирати між правотою і доступністю.

  • Консенсус і лідери

    Як група серверів домовляється про одного лідера й одну історію — навіть коли частина з них недоступна.

  • Транзакції та ізоляція

    Двоє людей, одне місце, та сама мілісекунда. Як бази даних зберігають коректність за одночасних змін.

  • Файли та медіа

    Фото й відео не місце в базі даних: куди вони йдуть натомість і як потрапляють туди й назад.

Взаємодія

  • REST, RPC і GraphQL

    Три способи, якими програми просять одна в одної дані, і скільки кожен коштує телефону в 4G.

  • Черги повідомлень

    Відповісти одразу, повільну роботу зробити згодом і жодної задачі не загубити дорогою.

  • Pub/Sub і події

    Оголосити, що щось сталося, і дати відреагувати всім, кому це важливо, — ніхто не чекає.

  • Оновлення в реальному часі

    Як сервер повідомляє вам, що щось сталося: чат, живі рахунки матчів, сповіщення.

Надійність

  • Резервування і failover

    Рано чи пізно ламається все. Проєктуйте так, щоб жоден окремий збій вас не поклав.

  • Обмеження частоти

    Дайте кожному клієнтові чесний бюджет, щоб один скажений скрипт не поклав усіх.

  • Таймаути та повтори

    Як безпечно викликати сервіс у біді: вчасно здатися, обережно повторити й знати, коли зупинитися.

  • Спостережуваність

    Метрики, логи й трейси: як швидко з’ясувати, що зламалося, де і чому.

Архітектура

  • Моноліт чи мікросервіси

    Одна кодова база чи багато сервісів? Що дає кожен варіант, скільки він коштує і як переходити від одного до іншого.

  • Виявлення сервісів

    Як сервіси знаходять одне одного, коли екземпляри з’являються й зникають, — і одні вхідні двері для всіх ззовні.

  • Саги та розподілені транзакції

    Одна дія, кілька сервісів, кілька баз даних: як зберегти «все або нічого» без однієї великої транзакції.

  • Пакетна і потокова обробка

    Перемелювання мільярдів подій: уночі великими пакетами або безперервно, щойно вони надходять.

Безпека

  • Автентифікація

    Довести, хто є хто, — і не стати причиною витоку чийогось пароля.

  • Авторизація

    Знати, хто людина, не означає знати, що їй можна бачити чи робити. Перевіряти це — всюди.

  • Шифрування і секрети

    Захист даних у мережі та на диску, а також ключів і паролів, якими користуються ваші сервіси.

Постачання

  • Тестування

    Дізнатися, що зміна безпечна, раніше за користувачів: швидкі тести для логіки, кілька повільних для всього іншого.

  • CI/CD і деплой

    Доставляти кожну зміну в продакшн швидко й безпечно, і так само швидко відкочувати.

Цілі системи

  • HLD і LLD

    Та сама система за двох масштабів: мапа сервісів і будова одного з них.

  • Проєктуємо скорочувач посилань

    Перший наскрізний дизайн: від брифу в один рядок до системи, що обслуговує мільярди редиректів.

  • Проєктуємо стрічку новин

    Пости всіх, на кого ви підписані, за 200 мс — і питання, коли виконувати роботу.

  • Проєктуємо чат

    Двадцять мільйонів відкритих з’єднань і одна обіцянка: кожне повідомлення доходить, по порядку, рівно один раз.

Технічні джерела