系统设计交互课程:用 40 节动画课学习负载均衡、缓存与分布式架构

通过 40 节交互课程学习系统设计。用逐步动画理解负载均衡、缓存、数据库分片和消息队列,再练习设计短链接、信息流与聊天系统。

浏览器加载网页时发生了什么?

首次通过 TCP 和 TLS 访问网页时,浏览器先解析域名,建立安全连接,再发送 HTTP 请求。收到服务器响应后,浏览器渲染页面。

找到地址(DNS)

网络按数字 IP 地址路由,而不是按名字。所以浏览器先问 DNS 解析器:shop.example 在哪里?

答案(203.0.113.7)大约 20 ms 后返回。

RFC 1034 — Domain Names: Concepts and Facilities

打开连接

现在浏览器向 203.0.113.7 打开连接。TCP 握手约定通信,TLS 握手建立加密。每次握手都需要一次往返(round trip):去一趟再回来。

这里一次往返要 30 ms,所以在请求页面的第一个字节之前,连接就花掉了 60 ms。

发送请求

浏览器通过打开的连接发送 GET /products。服务器解析请求、检查会话并运行你的代码。

这又花一次往返,外加约 10 ms 的服务器处理。

服务器查询数据库

商品不在 Web 服务器里,而在数据库里。服务器发出查询,等待数据行返回。

看一个请求一路进去,响应再一路出来。

响应回家

服务器把数据行变成 HTML 发回来,下载又花 20 ms。在你按下回车 155 ms 后,浏览器渲染出页面。

然后它发现页面里还有图片和样式表,于是发出更多请求。复用已打开的连接让它们省掉了握手。

课程

基础

  • 一个请求的旅程

    一跳一跳地跟着一次页面加载走一遍,看看时间到底花在了哪里。

  • 延迟与吞吐量

    关于速度的两个问题,以及为什么繁忙的服务器在满载之前就会变慢。

  • 估算

    用一张餐巾纸就写得下的算术,把产品想法换算成服务器和 TB。

扩展

  • 垂直还是水平

    你唯一的服务器快要熔化了。是买一台更大的,还是买更多台?

  • 负载均衡

    为许多服务器设一扇前门,并定下每个请求交给谁的规则。

  • 无状态服务

    为什么下一个请求必须在任意服务器上都能正常处理,以及状态该放到哪里去。

  • 缓存

    把人们最常问的答案放在比数据库快得多的地方。

  • 内容分发

    把大家都要下载的东西复制到离用户近的服务器上,别再跟光速较劲。

数据与存储

  • SQL 还是 NoSQL

    表、文档还是单纯的键:每种数据库擅长什么,又放弃了什么。

  • 索引

    为什么同一个查询可能要两秒,也可能只要两毫秒。

  • 存储引擎

    数据库到底如何处理你的写入,以及为什么有些引擎为读而生,有些为写而生。

  • 复制

    在多台机器上保留数据库的副本:为了更多的读取,也为了活下来。

  • 分片

    当数据或写入超出一台机器的承受范围时,把它们分散到多台机器上。

  • 一致性哈希

    增加或移除服务器时,只移动一小片数据。

  • 大规模唯一 ID

    给每一行起一个别人永远不会用的名字,而且不需要一个让所有人排队的计数器。

  • CAP 与一致性

    当网络断开时,数据的各个副本必须在“正确”和“可用”之间做选择。

  • 共识与 Leader

    一组服务器如何在部分成员联系不上时,仍然对唯一的 leader 和唯一的历史达成一致。

  • 事务与隔离

    两个人,一个座位,同一毫秒。数据库如何保证并发修改仍然正确。

  • 文件与媒体

    照片和视频不该放进数据库:它们该放在哪里,又如何上传和取回。

通信

  • REST、RPC 与 GraphQL

    程序之间互相请求数据的三种方式,以及每种方式对一部 4G 手机的代价。

  • 消息队列

    立刻回应,慢活稍后再做,而且途中绝不丢失任何一个任务。

  • 发布/订阅与事件

    宣布某件事发生了,让关心它的人各自去响应,而不用任何人等待。

  • 实时更新

    服务器如何告诉你发生了什么:聊天、实时比分、通知。

可靠性

  • 冗余与故障转移

    一切终将出故障。设计系统时,要让任何单一故障都无法让你宕机。

  • 限流

    给每个客户端一份公平的额度,这样一个失控的脚本就拖垮不了所有人。

  • 超时与重试

    安全地调用一个陷入困境的服务:及时放弃,谨慎重试,并且知道何时停手。

  • 可观测性

    指标、日志和链路追踪:如何快速找出哪里出了问题、出在哪儿、为什么。

架构

  • 单体还是微服务

    一个代码库还是很多服务?各自能带来什么、要付出什么,以及如何从一种迁移到另一种。

  • 服务发现

    实例来来去去时,服务之间如何找到彼此;以及给外部所有人的统一入口。

  • Saga 与分布式事务

    一个操作,多个服务,多个数据库:不靠一个大事务,怎样做到要么全成、要么全不成。

  • 批处理与流处理

    处理数十亿事件:在夜里分大批处理,或者在事件到来时持续处理。

安全

  • 认证

    证明一个人是谁——同时不成为他密码泄露的原因。

  • 授权

    知道一个人是谁,并不能告诉你他能看什么、做什么。要处处检查这一点。

  • 加密与密钥

    保护网络上和磁盘上的数据,以及你的服务所用的密钥和密码。

交付

  • 测试

    在用户发现之前就知道一次变更是安全的:逻辑用快速测试,其余部分用少量慢速测试。

  • CI/CD 与部署

    让每次变更快速、安全地进入生产环境,并且同样快速地撤回。

完整系统

  • HLD 与 LLD

    同一个系统的两种缩放级别:服务的地图,以及其中一个服务的内部。

  • 设计短链接服务

    第一个端到端的设计:从一句话需求,到一个承载数十亿次跳转的系统。

  • 设计信息流

    你关注的所有人的帖子,200 ms 内送达,以及“什么时候干活”这个问题。

  • 设计聊天系统

    两千万个打开的连接,和一个承诺:每条消息都送达,按顺序,恰好一次。

技术参考