系統設計互動課程:用 40 堂動畫課學習負載平衡、快取與分散式架構

透過 40 堂互動課程學習系統設計。用逐步動畫理解負載平衡、快取、資料庫分片和訊息佇列,再練習設計短網址、動態消息與聊天系統。

瀏覽器載入網頁時發生了什麼?

首次透過 TCP 和 TLS 瀏覽網頁時,瀏覽器先解析網域,建立安全連線,再傳送 HTTP 請求。收到伺服器回應後,瀏覽器便會呈現網頁。

找到位址(DNS)

網路依數字 IP 位址路由,而不是依名稱。所以瀏覽器先問 DNS 解析器:shop.example 在哪裡?

答案(203.0.113.7)大約 20 ms 後回來。

RFC 1034 — Domain Names: Concepts and Facilities

開啟連線

現在瀏覽器向 203.0.113.7 開啟連線。TCP 交握約定通訊,TLS 交握建立加密。每次交握都需要一次往返(round trip):去一趟再回來。

這裡一次往返要 30 ms,所以在請求頁面的第一個位元組之前,連線就花掉了 60 ms。

送出請求

瀏覽器透過開啟的連線送出 GET /products。伺服器解析請求、檢查工作階段並執行你的程式。

這又花一次往返,外加約 10 ms 的伺服器處理。

伺服器查詢資料庫

商品不在 Web 伺服器裡,而在資料庫裡。伺服器送出查詢,等待資料列回來。

看一個請求一路進去,回應再一路出來。

回應回家

伺服器把資料列變成 HTML 送回來,下載又花 20 ms。在你按下 Enter 155 ms 後,瀏覽器繪製出頁面。

接著它發現頁面裡還有圖片和樣式表,於是送出更多請求。重用已開啟的連線讓它們省掉了交握。

課程

基礎

  • 一個請求的旅程

    一跳一跳地跟著一次頁面載入走一遍,看看時間到底花在哪裡。

  • 延遲與吞吐量

    關於速度的兩個問題,以及為什麼忙碌的伺服器在滿載之前就會變慢。

  • 快速估算

    用一張餐巾紙就寫得下的算術,把產品構想換算成伺服器和 TB。

擴展

  • 垂直還是水平

    你唯一的伺服器快要熔化了。是買一台更大的,還是買更多台?

  • 負載平衡

    為許多伺服器設一扇前門,並訂下每個請求交給誰的規則。

  • 無狀態服務

    為什麼下一個請求必須在任何伺服器上都能正常處理,以及狀態該放到哪裡去。

  • 快取

    把人們最常問的答案放在比資料庫快得多的地方。

  • 內容傳遞

    把大家都要下載的東西複製到離使用者近的伺服器上,別再跟光速較勁。

資料與儲存

  • SQL 還是 NoSQL

    表格、文件還是單純的鍵:每種資料庫擅長什麼,又放棄了什麼。

  • 索引

    為什麼同一個查詢可能要兩秒,也可能只要兩毫秒。

  • 儲存引擎

    資料庫到底如何處理你的寫入,以及為什麼有些引擎為讀而生,有些為寫而生。

  • 複製

    在多台機器上保留資料庫的副本:為了更多讀取,也為了活下來。

  • 分片

    當資料或寫入超出一台機器的負荷時,把它們分散到多台機器上。

  • 一致性雜湊

    增加或移除伺服器時,只移動一小片資料。

  • 大規模唯一 ID

    給每一列取一個別人永遠不會用的名字,而且不需要一個讓所有人排隊的計數器。

  • CAP 與一致性

    當網路斷開時,資料的各個副本必須在「正確」和「可用」之間做選擇。

  • 共識與 Leader

    一組伺服器如何在部分成員聯繫不上時,仍然對唯一的 leader 和唯一的歷史達成一致。

  • 交易與隔離

    兩個人,一個座位,同一毫秒。資料庫如何保證並行修改仍然正確。

  • 檔案與媒體

    照片和影片不該放進資料庫:它們該放在哪裡,又如何上傳和取回。

通訊

  • REST、RPC 與 GraphQL

    程式之間互相請求資料的三種方式,以及每種方式對一支 4G 手機的代價。

  • 訊息佇列

    立刻回應,慢的工作稍後再做,而且途中絕不弄丟任何一個工作。

  • 發布/訂閱與事件

    宣布某件事發生了,讓在意它的人各自去回應,而不用任何人等待。

  • 即時更新

    伺服器如何告訴你發生了什麼:聊天、即時比分、通知。

可靠性

  • 備援與容錯移轉

    一切終究會故障。設計系統時,要讓任何單一故障都無法讓你停擺。

  • 限流

    給每個用戶端一份公平的額度,這樣一個失控的腳本就拖垮不了所有人。

  • 逾時與重試

    安全地呼叫一個陷入困境的服務:及時放棄,謹慎重試,並且知道何時停手。

  • 可觀測性

    指標、日誌和追蹤:如何快速找出哪裡出了問題、出在哪裡、為什麼。

架構

  • 單體還是微服務

    一個程式碼庫還是很多服務?各自能帶來什麼、要付出什麼,以及如何從一種遷移到另一種。

  • 服務探索

    實例來來去去時,服務之間如何找到彼此;以及給外部所有人的統一入口。

  • Saga 與分散式交易

    一個操作,多個服務,多個資料庫:不靠一個大交易,怎樣做到要麼全成、要麼全不成。

  • 批次與串流處理

    處理數十億事件:在夜裡分大批處理,或者在事件到來時持續處理。

安全

  • 身分驗證

    證明一個人是誰——同時不成為他密碼外洩的原因。

  • 授權

    知道一個人是誰,並不能告訴你他能看什麼、做什麼。要處處檢查這一點。

  • 加密與機密

    保護網路上和磁碟上的資料,以及你的服務所用的金鑰和密碼。

交付

  • 測試

    在使用者發現之前就知道一次變更是安全的:邏輯用快速測試,其餘部分用少量慢速測試。

  • CI/CD 與部署

    讓每次變更快速、安全地進入正式環境,並且同樣快速地撤回。

完整系統

  • HLD 與 LLD

    同一個系統的兩種縮放層級:服務的地圖,以及其中一個服務的內部。

  • 設計短網址服務

    第一個端對端的設計:從一句話需求,到一個承載數十億次轉址的系統。

  • 設計動態消息

    你追蹤的所有人的貼文,200 ms 內送達,以及「什麼時候做事」這個問題。

  • 設計聊天系統

    兩千萬條開啟中的連線,和一個承諾:每則訊息都送達,依序,恰好一次。

技術參考