Leer systeemontwerp in 40 lessen

Leer systeemontwerp in 40 interactieve lessen. Verken load balancing, caches en databases en ontwerp een URL-verkorter, een feed en een chatsysteem.

Wat gebeurt er als een browser een pagina laadt?

Bij een eerste bezoek via TCP en TLS zoekt de browser het domein op, opent een beveiligde verbinding en verstuurt een HTTP-verzoek. Daarna geeft hij het antwoord van de server weer.

Het adres vinden (DNS)

Netwerken routeren op numeriek IP-adres, niet op naam. Dus vraagt de browser eerst een DNS-resolver: waar is shop.example?

Het antwoord (203.0.113.7) komt na ongeveer 20 ms terug.

RFC 1034 — Domain Names: Concepts and Facilities

Een verbinding openen

Nu opent de browser een verbinding met 203.0.113.7. Een TCP-handshake spreekt het gesprek af; een TLS-handshake regelt de versleuteling. Elk kost een round trip: heen en terug.

Hier duurt een round trip 30 ms, dus verbinden kost 60 ms voordat er ook maar één byte van de pagina is gevraagd.

Het verzoek versturen

Over de open verbinding stuurt de browser GET /products. De server ontleedt het, controleert de sessie en voert je code uit.

Dat kost nog een round trip plus ~10 ms serverwerk.

De server vraagt de database

De producten staan niet in de webserver, maar in een database. De server stuurt een query en wacht tot de rijen terugkomen.

Kijk hoe een verzoek de hele weg heen reist en het antwoord de hele weg terug.

Het antwoord komt thuis

De server maakt van de rijen HTML en stuurt het terug; downloaden kost nog eens 20 ms. De browser rendert de pagina 155 ms nadat je op Enter drukte.

Dan ziet hij afbeeldingen en stylesheets in de pagina en vuurt meer verzoeken af. De open verbinding hergebruiken bespaart ze de handshake.

Cursus

Basis

Schalen

  • Verticaal of horizontaal

    Je enige server smelt. Koop je een grotere, of meer?

  • Load balancing

    Eén voordeur voor veel servers, en de regels voor wie welk verzoek krijgt.

  • Stateless services

    Waarom het volgende verzoek op elke server moet werken, en waar de state dan heen gaat.

  • Caching

    Bewaar de meest gevraagde antwoorden op een plek die veel sneller is dan de database.

  • Contentlevering

    Kopieer wat iedereen downloadt naar servers dicht bij je gebruikers, en stop met vechten tegen de lichtsnelheid.

Data & opslag

  • SQL of NoSQL

    Tabellen, documenten of simpele sleutels: waar elke soort database goed in is, en wat hij opgeeft.

  • Indexen

    Waarom dezelfde query twee seconden of twee milliseconden kan duren.

  • Storage-engines

    Wat een database echt met je write doet, en waarom sommige voor lezen en andere voor schrijven gebouwd zijn.

  • Replicatie

    Kopieën van de database op meerdere machines houden: voor meer leesacties en om te overleven.

  • Sharding

    Als de data of de schrijfacties niet meer op één machine passen, verdeel ze over vele.

  • Consistent hashing

    Voeg servers toe of haal ze weg en verplaats maar een sliertje van de data.

  • Unieke ID’s op schaal

    Elke rij een naam geven die niemand anders ooit gebruikt, zonder één teller waar iedereen voor in de rij moet staan.

  • CAP & consistentie

    Als het netwerk splitst, moeten de kopieën van je data kiezen tussen gelijk hebben en bereikbaar zijn.

  • Consensus & leiders

    Hoe een groep servers het eens wordt over één leader en één geschiedenis, ook als sommige onbereikbaar zijn.

  • Transacties & isolatie

    Twee mensen, één stoel, dezelfde milliseconde. Hoe databases gelijktijdige wijzigingen correct houden.

  • Bestanden & media

    Foto’s en video’s horen niet in je database: waar ze in plaats daarvan heen gaan, en hoe ze daar komen en weer terug.

Communicatie

  • REST, RPC & GraphQL

    Drie manieren waarop programma’s elkaar om dingen vragen, en wat elk ervan een telefoon op 4G kost.

  • Message queues

    Meteen antwoorden, het trage werk later doen, en onderweg nooit een job kwijtraken.

  • Pub/sub & events

    Meld dat er iets gebeurd is, en laat wie het wil reageren, zonder dat iemand hoeft te wachten.

  • Realtime updates

    Hoe de server je vertelt dat er iets gebeurd is: chat, live-uitslagen, meldingen.

Betrouwbaarheid

  • Redundantie & failover

    Alles valt uiteindelijk uit. Ontwerp zo dat geen enkele storing je platlegt.

  • Rate limiting

    Geef elke client een eerlijk budget, zodat één op hol geslagen script niet iedereen platlegt.

  • Timeouts & retries

    Een worstelende dienst veilig aanroepen: op tijd opgeven, voorzichtig opnieuw proberen, en weten wanneer je stopt.

  • Observability

    Metrics, logs en traces: hoe je snel ontdekt wat er mis is, waar en waarom.

Architectuur

  • Monoliet of microservices

    Eén codebase of veel diensten? Wat elk je oplevert, wat elk kost en hoe je van de een naar de ander gaat.

  • Service discovery

    Hoe diensten elkaar vinden als instanties komen en gaan, en één voordeur voor iedereen buiten.

  • Sagas & gedistribueerde tx

    Eén actie, meerdere diensten, meerdere databases: hoe houd je alles-of-niets zonder één grote transactie.

  • Batch- & streamverwerking

    Miljarden events verwerken: ’s nachts in grote batches, of continu terwijl ze binnenkomen.

Beveiliging

  • Authenticatie

    Bewijzen wie iemand is, zonder de reden te worden dat diens wachtwoord uitlekt.

  • Autorisatie

    Weten wie iemand is, vertelt niet wat die mag zien of doen. Dat overal controleren.

  • Versleuteling & secrets

    Data beschermen op het netwerk, op schijf, en de sleutels en wachtwoorden die je services gebruiken.

Opleveren

  • Testen

    Weten dat een wijziging veilig is voordat je gebruikers het merken: snelle tests voor de logica, een paar trage voor de rest.

  • CI/CD & deployments

    Elke wijziging snel en veilig in productie krijgen, en net zo snel weer terugdraaien.

Hele systemen

  • HLD & LLD

    Hetzelfde systeem op twee zoomniveaus: de kaart van services, en de binnenkant van één ervan.

  • Ontwerp een URL-verkorter

    Een eerste ontwerp van begin tot eind: van een briefing van één regel tot een systeem dat miljarden redirects afhandelt.

  • Ontwerp een nieuwsfeed

    Posts van iedereen die je volgt, in 200 ms, en de vraag wanneer je het werk doet.

  • Ontwerp een chatsysteem

    Twintig miljoen open verbindingen en een belofte: elk bericht komt aan, op volgorde, precies één keer.

Technische bronnen