Conception de systèmes en 40 leçons

Apprenez la conception de systèmes en 40 leçons animées sur la répartition de charge, les caches et les bases de données. Concevez un fil et une messagerie.

Que se passe-t-il quand un navigateur charge une page ?

Lors d’une première visite via TCP et TLS, le navigateur résout le domaine, ouvre une connexion sécurisée et envoie une requête HTTP. Il affiche ensuite la réponse du serveur.

Trouver l’adresse (DNS)

Les réseaux acheminent par adresse IP numérique, pas par nom. Le navigateur demande donc d’abord à un résolveur DNS : où est shop.example ?

La réponse (203.0.113.7) revient en 20 ms environ.

RFC 1034 — Domain Names: Concepts and Facilities

Ouvrir une connexion

Le navigateur ouvre maintenant une connexion vers 203.0.113.7. Une poignée de main TCP établit l’échange ; une poignée de main TLS met en place le chiffrement. Chacune demande un aller-retour.

Ici, un aller-retour prend 30 ms : se connecter coûte donc 60 ms avant même de demander le moindre octet de la page.

Envoyer la requête

Sur la connexion ouverte, le navigateur envoie GET /products. Le serveur l’analyse, vérifie la session et exécute votre code.

Cela coûte un aller-retour de plus et ~10 ms de travail du serveur.

Le serveur interroge la base de données

Les produits ne vivent pas dans le serveur web, mais dans une base de données. Le serveur envoie une requête et attend que les lignes reviennent.

Regardez une requête faire tout le chemin aller et la réponse tout le chemin retour.

La réponse rentre à la maison

Le serveur transforme les lignes en HTML et le renvoie ; le télécharger prend encore 20 ms. Le navigateur affiche la page 155 ms après que vous avez appuyé sur Entrée.

Puis il repère des images et des feuilles de style dans la page et lance d’autres requêtes. Réutiliser la connexion ouverte leur épargne la poignée de main.

Cours

Fondamentaux

  • Le trajet d’une requête

    Suivez le chargement d’une page étape par étape, et découvrez où passe vraiment le temps.

  • Latence et débit

    Deux questions sur la vitesse, et pourquoi les serveurs chargés ralentissent avant d’être pleins.

  • Calculs de coin de table

    Transformez une idée de produit en serveurs et en téraoctets avec des calculs qui tiennent sur une serviette.

Passage à l’échelle

  • Vertical ou horizontal

    Votre unique serveur fond. Vous en achetez un plus gros, ou plusieurs ?

  • Répartition de charge

    Une seule porte d’entrée pour de nombreux serveurs, et les règles qui décident qui reçoit quelle requête.

  • Services sans état

    Pourquoi la requête suivante doit fonctionner sur n’importe quel serveur, et où va l’état à la place.

  • Mise en cache

    Gardez les réponses les plus demandées dans un endroit bien plus rapide que la base de données.

  • Diffusion de contenu

    Copiez ce que tout le monde télécharge sur des serveurs proches de vos utilisateurs, et cessez de lutter contre la vitesse de la lumière.

Stockage

  • SQL ou NoSQL

    Tables, documents ou simples clés : ce que chaque type de base de données fait bien, et ce à quoi il renonce.

  • Index

    Pourquoi la même requête peut prendre deux secondes ou deux millisecondes.

  • Moteurs de stockage

    Ce qu’une base de données fait vraiment de votre écriture, et pourquoi certaines sont conçues pour la lecture et d’autres pour l’écriture.

  • Réplication

    Garder des copies de la base sur plusieurs machines : pour plus de lectures et pour survivre.

  • Sharding

    Quand les données ou les écritures dépassent une machine, on les répartit sur plusieurs.

  • Hachage cohérent

    Ajouter ou retirer des serveurs en ne déplaçant qu’une mince part des données.

  • IDs uniques à l’échelle

    Donner à chaque ligne un nom que personne d’autre n’utilisera jamais, sans un compteur unique devant lequel tout le monde fait la queue.

  • CAP et cohérence

    Quand le réseau se coupe, les copies de vos données doivent choisir entre avoir raison et rester joignables.

  • Consensus et leaders

    Comment un groupe de serveurs s’accorde sur un leader et une histoire, même quand certains sont injoignables.

  • Transactions et isolation

    Deux personnes, une place, la même milliseconde. Comment les bases de données gardent justes les modifications concurrentes.

  • Fichiers et médias

    Les photos et vidéos n’ont rien à faire dans votre base : où elles vont à la place, et comment elles y entrent et en sortent.

Communication

  • REST, RPC et GraphQL

    Trois façons pour des programmes de se demander des choses, et ce que chacune coûte à un téléphone en 4G.

  • Files de messages

    Répondre tout de suite, faire le travail lent plus tard, et ne jamais perdre une tâche en route.

  • Pub/Sub et événements

    Annoncer qu’une chose s’est produite, et laisser réagir ceux que ça intéresse, sans que personne n’attende.

  • Mises à jour en temps réel

    Comment le serveur vous prévient qu’il s’est passé quelque chose : chat, scores en direct, notifications.

Fiabilité

  • Redondance et failover

    Tout finit par tomber en panne. Concevez pour qu’aucune panne isolée ne vous mette à terre.

  • Limitation de débit

    Donnez à chaque client un budget équitable, pour qu’un script emballé ne fasse pas tomber tout le monde.

  • Timeouts et nouveaux essais

    Appeler sans risque un service en difficulté : abandonner à temps, réessayer avec prudence, et savoir quand s’arrêter.

  • Observabilité

    Métriques, logs et traces : comment trouver ce qui ne va pas, où et pourquoi, vite.

Architecture

  • Monolithe ou microservices

    Une seule base de code ou plusieurs services ? Ce que chacun apporte, ce qu’il coûte, et comment passer de l’un à l’autre.

  • Découverte de services

    Comment les services se trouvent quand des instances vont et viennent, et une porte d’entrée unique pour tout l’extérieur.

  • Sagas et transactions distribuées

    Une action, plusieurs services, plusieurs bases de données : comment garder le tout-ou-rien sans une grande transaction.

  • Traitement par lots et en flux

    Traiter des milliards d’événements : la nuit en gros lots, ou en continu au fil de leur arrivée.

Sécurité

  • Authentification

    Prouver qui est quelqu’un, sans devenir la raison pour laquelle son mot de passe fuite.

  • Autorisation

    Savoir qui est quelqu’un ne dit pas ce qu’il a le droit de voir ou de faire. Le vérifier, partout.

  • Chiffrement et secrets

    Protéger les données sur le réseau, sur disque, ainsi que les clés et mots de passe de vos services.

Livraison

  • Tests

    Savoir qu’un changement est sûr avant vos utilisateurs : des tests rapides pour la logique, quelques lents pour le reste.

  • CI/CD et déploiements

    Amener chaque changement en production vite et sans risque, et pouvoir revenir en arrière tout aussi vite.

Systèmes complets

  • HLD et LLD

    Le même système à deux niveaux de zoom : la carte des services, et l’intérieur de l’un d’eux.

  • Concevoir un raccourcisseur d’URL

    Une première conception de bout en bout : d’un brief d’une ligne à un système qui sert des milliards de redirections.

  • Concevoir un fil d’actualité

    Les posts de tous ceux que vous suivez, en 200 ms, et la question de savoir quand faire le travail.

  • Concevoir une messagerie

    Vingt millions de connexions ouvertes, et une promesse : chaque message arrive, dans l’ordre, exactement une fois.

Références techniques