Design de sistemas em 40 lições

Aprenda design de sistemas em 40 lições ilustradas. Explore balanceamento de carga, cache e bancos de dados e projete um encurtador de URLs, um feed e um chat.

O que acontece quando o navegador carrega uma página?

Na primeira visita via TCP e TLS, o navegador resolve o domínio, abre uma conexão segura e envia uma requisição HTTP. Depois renderiza a resposta do servidor.

Achar o endereço (DNS)

Redes roteiam por endereço IP numérico, não por nome. Então o navegador primeiro pergunta a um resolvedor DNS: onde fica shop.example?

A resposta (203.0.113.7) volta em uns 20 ms.

RFC 1034 — Domain Names: Concepts and Facilities

Abrir uma conexão

Agora o navegador abre uma conexão com 203.0.113.7. Um handshake TCP combina a conversa; um handshake TLS configura a criptografia. Cada um precisa de uma ida e volta (round trip).

Aqui uma ida e volta leva 30 ms, então conectar custa 60 ms antes de um único byte da página ser pedido.

Enviar a requisição

Pela conexão aberta o navegador envia GET /products. O servidor a interpreta, verifica a sessão e executa o seu código.

Isso custa mais uma ida e volta e ~10 ms de trabalho do servidor.

O servidor consulta o banco de dados

Os produtos não ficam no servidor web: ficam em um banco de dados. O servidor envia uma consulta e espera as linhas voltarem.

Veja uma requisição percorrer todo o caminho de ida e a resposta todo o caminho de volta.

A resposta volta para casa

O servidor transforma as linhas em HTML e envia de volta; baixar leva mais 20 ms. O navegador renderiza a página 155 ms depois de você apertar Enter.

Então ele percebe imagens e folhas de estilo na página e dispara mais requisições. Reaproveitar a conexão aberta poupa o handshake delas.

Curso

Fundamentos

  • Como uma requisição viaja

    Acompanhe o carregamento de uma página salto a salto, e descubra para onde o tempo realmente vai.

  • Latência e vazão

    Duas perguntas sobre velocidade, e por que servidores ocupados ficam lentos antes de lotar.

  • Contas de guardanapo

    Transforme uma ideia de produto em servidores e terabytes com contas que cabem num guardanapo.

Escala

  • Vertical ou horizontal

    Seu único servidor está derretendo. Você compra um maior ou mais servidores?

  • Balanceamento de carga

    Uma porta de entrada para muitos servidores, e as regras de quem recebe cada requisição.

  • Serviços sem estado

    Por que a próxima requisição precisa funcionar em qualquer servidor, e para onde vai o estado.

  • Cache

    Guarde as respostas mais pedidas em algum lugar muito mais rápido que o banco de dados.

  • Entrega de conteúdo

    Copie o que todo mundo baixa para servidores perto dos seus usuários, e pare de brigar com a velocidade da luz.

Armazenamento

  • SQL vs. NoSQL

    Tabelas, documentos ou simples chaves: no que cada tipo de banco de dados é bom, e do que ele abre mão.

  • Índices

    Por que a mesma query pode levar dois segundos ou dois milissegundos.

  • Motores de armazenamento

    O que um banco de dados realmente faz com a sua escrita, e por que uns são feitos para leituras e outros para escritas.

  • Replicação

    Mantenha cópias do banco de dados em várias máquinas, para mais leituras e para sobreviver.

  • Sharding

    Quando os dados ou as escritas não cabem mais numa máquina, divida-os entre muitas.

  • Hashing consistente

    Adicione ou remova servidores e mova só uma fatia dos dados.

  • IDs únicos em escala

    Dar a cada linha um nome que ninguém mais vai usar, sem um contador único pelo qual todos precisam esperar na fila.

  • CAP e consistência

    Quando a rede se parte, as cópias dos seus dados precisam escolher entre estar certas e estar acessíveis.

  • Consenso e líderes

    Como um grupo de servidores concorda sobre um líder e uma história, mesmo quando alguns deles estão inacessíveis.

  • Transações e isolamento

    Duas pessoas, um lugar, o mesmo milissegundo. Como os bancos de dados mantêm corretas as mudanças concorrentes.

  • Arquivos e mídia

    Fotos e vídeos não pertencem ao seu banco de dados: para onde vão em vez disso, e como chegam lá e voltam.

Comunicação

  • REST, RPC e GraphQL

    Três jeitos de programas pedirem coisas uns aos outros, e quanto cada um custa a um celular no 4G.

  • Filas de mensagens

    Responda na hora, faça o trabalho lento depois, e nunca perca uma tarefa pelo caminho.

  • Pub/Sub e eventos

    Anuncie que algo aconteceu e deixe quem se importa reagir, sem ninguém esperar.

  • Atualizações em tempo real

    Como o servidor avisa você de que algo aconteceu: chat, placares ao vivo, notificações.

Confiabilidade

  • Redundância e failover

    Tudo falha uma hora. Projete para que nenhuma falha isolada derrube você.

  • Limitação de taxa

    Dê a cada cliente uma cota justa, para que um script descontrolado não derrube todo mundo.

  • Timeouts e retentativas

    Como chamar com segurança um serviço em apuros: desistir a tempo, tentar de novo com cuidado e saber quando parar.

  • Observabilidade

    Métricas, logs e traces: como descobrir o que está errado, onde e por quê, rápido.

Arquitetura

Segurança

  • Autenticação

    Provar quem alguém é, sem virar o motivo de a senha dessa pessoa vazar.

  • Autorização

    Saber quem alguém é não diz o que essa pessoa pode ver ou fazer. Verificar isso, em todo lugar.

  • Criptografia e segredos

    Proteger os dados na rede, no disco, e as chaves e senhas que seus serviços usam.

Entrega

  • Testes

    Saber que uma mudança é segura antes que seus usuários descubram: testes rápidos para a lógica, alguns lentos para todo o resto.

  • CI/CD e deploys

    Levar cada mudança à produção com rapidez e segurança, e desfazê-la com a mesma rapidez.

Sistemas completos

  • HLD e LLD

    O mesmo sistema em dois níveis de zoom: o mapa dos serviços e o interior de um deles.

  • Projete um encurtador de URLs

    Um primeiro design de ponta a ponta: de um briefing de uma linha a um sistema que serve bilhões de redirecionamentos.

  • Projete um feed de notícias

    Posts de todo mundo que você segue, em 200 ms, e a questão de quando fazer o trabalho.

  • Projete um sistema de chat

    Vinte milhões de conexões abertas e uma promessa: toda mensagem chega, em ordem, exatamente uma vez.

Referências técnicas