Progettazione di sistemi in 40 lezioni

Impara a progettare sistemi in 40 lezioni animate. Esplora bilanciamento del carico, cache e database e progetta un abbreviatore di URL, un feed e una chat.

Che cosa succede quando il browser carica una pagina?

Alla prima visita tramite TCP e TLS, il browser risolve il dominio, apre una connessione sicura e invia una richiesta HTTP. Poi visualizza la risposta del server.

Trovare l’indirizzo (DNS)

Le reti instradano per indirizzo IP numerico, non per nome. Così il browser chiede prima a un resolver DNS: dov’è shop.example?

La risposta (203.0.113.7) torna in circa 20 ms.

RFC 1034 — Domain Names: Concepts and Facilities

Aprire una connessione

Ora il browser apre una connessione verso 203.0.113.7. Un handshake TCP concorda la comunicazione; un handshake TLS imposta la cifratura. Ognuno richiede un round trip, andata e ritorno.

Qui un round trip richiede 30 ms, quindi connettersi costa 60 ms prima ancora di chiedere un solo byte della pagina.

Inviare la richiesta

Sulla connessione aperta il browser invia GET /products. Il server la interpreta, controlla la sessione ed esegue il tuo codice.

Questo costa un altro round trip più ~10 ms di lavoro del server.

Il server interroga il database

I prodotti non stanno nel server web: stanno in un database. Il server invia una query e aspetta che tornino le righe.

Guarda una richiesta fare tutta la strada all’andata e la risposta tutta la strada al ritorno.

La risposta torna a casa

Il server trasforma le righe in HTML e lo rimanda; scaricarlo richiede altri 20 ms. Il browser mostra la pagina 155 ms dopo che hai premuto Invio.

Poi nota immagini e fogli di stile nella pagina e lancia altre richieste. Riutilizzare la connessione aperta risparmia loro l’handshake.

Corso

Fondamenti

  • Il viaggio di una richiesta

    Segui il caricamento di una pagina passo dopo passo, e scopri dove va davvero il tempo.

  • Latenza e throughput

    Due domande sulla velocità, e perché i server occupati rallentano prima di essere pieni.

  • Calcoli a spanne

    Trasforma un’idea di prodotto in server e terabyte con conti che stanno su un tovagliolo.

Scalabilità

  • Verticale o orizzontale

    Il tuo unico server si sta sciogliendo. Ne compri uno più grande, o di più?

  • Bilanciamento del carico

    Un’unica porta d’ingresso per tanti server, e le regole su chi riceve quale richiesta.

  • Servizi stateless

    Perché la richiesta successiva deve funzionare su qualsiasi server, e dove va a finire lo stato.

  • Caching

    Tieni le risposte più richieste in un posto molto più veloce del database.

  • Distribuzione dei contenuti

    Copia ciò che tutti scaricano su server vicini ai tuoi utenti, e smetti di combattere contro la velocità della luce.

Dati e storage

  • SQL o NoSQL

    Tabelle, documenti o semplici chiavi: in cosa è bravo ogni tipo di database, e a cosa rinuncia.

  • Indici

    Perché la stessa query può impiegare due secondi o due millisecondi.

  • Motori di storage

    Cosa fa davvero un database con la tua scrittura, e perché alcuni sono fatti per le letture e altri per le scritture.

  • Replica

    Tenere copie del database su più macchine: per avere più letture e per sopravvivere.

  • Sharding

    Quando i dati o le scritture non stanno più su una macchina, dividili su molte.

  • Hashing consistente

    Aggiungi o togli server spostando solo una fettina dei dati.

  • ID unici su larga scala

    Dare a ogni riga un nome che nessun altro userà mai, senza un unico contatore per cui tutti devono fare la fila.

  • CAP e consistenza

    Quando la rete si spezza, le copie dei tuoi dati devono scegliere tra avere ragione ed essere raggiungibili.

  • Consenso e leader

    Come un gruppo di server si accorda su un solo leader e una sola storia, anche quando alcuni non sono raggiungibili.

  • Transazioni e isolamento

    Due persone, un posto, lo stesso millisecondo. Come i database mantengono corrette le modifiche concorrenti.

  • File e media

    Foto e video non vanno nel database: dove vanno invece, e come ci arrivano e tornano indietro.

Comunicazione

  • REST, RPC e GraphQL

    Tre modi in cui i programmi si chiedono le cose a vicenda, e quanto costa ciascuno a un telefono in 4G.

  • Code di messaggi

    Rispondi subito, fai il lavoro lento dopo, e non perdere mai un job per strada.

  • Pub/Sub ed eventi

    Annuncia che è successo qualcosa e lascia reagire chi è interessato, senza far aspettare nessuno.

  • Aggiornamenti in tempo reale

    Come il server ti avvisa che è successo qualcosa: chat, risultati in diretta, notifiche.

Affidabilità

  • Ridondanza e failover

    Prima o poi tutto si guasta. Progetta in modo che nessun singolo guasto ti butti giù.

  • Rate limiting

    Dai a ogni client un budget equo, così che uno script impazzito non butti giù tutti.

  • Timeout e retry

    Chiamare in sicurezza un servizio in difficoltà: arrendersi in tempo, riprovare con cautela e sapere quando fermarsi.

  • Osservabilità

    Metriche, log e trace: come scoprire cosa non va, dove e perché, in fretta.

Architettura

  • Monolite o microservizi

    Un’unica codebase o tanti servizi? Cosa offre ciascuno, quanto costa e come passare dall’uno all’altro.

  • Service discovery

    Come i servizi si trovano quando le istanze vanno e vengono, e un’unica porta d’ingresso per chi sta fuori.

  • Saga e transazioni distribuite

    Un’azione, più servizi, più database: come mantenere il tutto-o-niente senza una grande transazione.

  • Elaborazione batch e stream

    Macinare miliardi di eventi: di notte in grandi batch, oppure di continuo man mano che arrivano.

Sicurezza

  • Autenticazione

    Dimostrare chi è qualcuno, senza diventare il motivo per cui la sua password finisce in giro.

  • Autorizzazione

    Sapere chi è qualcuno non dice cosa può vedere o fare. Verificarlo, ovunque.

  • Cifratura e segreti

    Proteggere i dati in rete, su disco, e le chiavi e le password usate dai tuoi servizi.

Rilascio

  • Test

    Sapere che una modifica è sicura prima che se ne accorgano gli utenti: test veloci per la logica, pochi test lenti per tutto il resto.

  • CI/CD e deploy

    Portare ogni modifica in produzione in fretta e in sicurezza, e tornare indietro altrettanto in fretta.

Sistemi completi

  • HLD e LLD

    Lo stesso sistema a due livelli di zoom: la mappa dei servizi e l’interno di uno di essi.

  • Progetta un URL shortener

    Un primo progetto completo: da un brief di una riga a un sistema che serve miliardi di redirect.

  • Progetta un news feed

    I post di tutte le persone che segui, in 200 ms, e la questione di quando fare il lavoro.

  • Progetta una chat

    Venti milioni di connessioni aperte e una promessa: ogni messaggio arriva, in ordine, esattamente una volta.

Riferimenti tecnici