システム設計講座:負荷分散と分散システムを40の図解で学ぶ

40 のインタラクティブなレッスンでシステム設計を学びます。負荷分散、キャッシュ、データベースを理解し、URL 短縮、フィード、チャットを設計します。

ブラウザーがページを読み込むとき、何が起こる?

TCP と TLS を使う初回アクセスでは、ブラウザーはドメイン名を解決し、安全な接続を確立して HTTP リクエストを送ります。その後、サーバーの応答を描画します。

住所を探す(DNS)

ネットワークは名前ではなく、数値の IP アドレスで経路を決めます。そこでブラウザはまず DNS リゾルバーに尋ねます:shop.example はどこ?

答え(203.0.113.7)は約 20 ms で返ってきます。

RFC 1034 — Domain Names: Concepts and Facilities

接続を開く

次にブラウザは 203.0.113.7 への接続を開きます。TCP ハンドシェイクで会話を取り決め、TLS ハンドシェイクで暗号化を準備します。どちらも 1 回の往復(ラウンドトリップ)が必要です。

ここでは 1 往復が 30 ms なので、ページを 1 バイトも要求しないうちに、接続だけで 60 ms かかります。

リクエストを送る

開いた接続の上で、ブラウザは GET /products を送ります。サーバーはそれを解析し、セッションを確認して、あなたのコードを実行します。

これでさらに 1 往復と、約 10 ms のサーバー処理がかかります。

サーバーがデータベースに問い合わせる

商品は Web サーバーの中ではなく、データベースにあります。サーバーはクエリを送り、行が返ってくるのを待ちます。

リクエストが奥まで届き、レスポンスが外まで戻ってくる様子を見てください。

レスポンスが帰ってくる

サーバーは行を HTML に変えて送り返し、ダウンロードにさらに 20 ms かかります。Enter を押してから 155 ms 後に、ブラウザがページを描画します。

続いてページ内の画像やスタイルシートに気づき、さらにリクエストを送ります。開いた接続を再利用するので、それらはハンドシェイクを省けます。

コース

基礎

  • リクエストの旅

    ページの読み込みを 1 ホップずつ追いかけて、時間が本当はどこに消えているのかを確かめます。

  • レイテンシとスループット

    速さについての 2 つの問いと、忙しいサーバーが満杯になる前に遅くなる理由。

  • 概算

    ナプキンに書ける程度の計算で、プロダクトのアイデアをサーバー台数とテラバイトに置き換える。

スケーリング

  • 垂直か水平か

    たった1台のサーバーが溶けかけています。大きいのを買う?それとも台数を増やす?

  • ロードバランシング

    たくさんのサーバーに玄関を1つだけ。そして、どのリクエストを誰が受け取るかのルール。

  • ステートレスなサービス

    次のリクエストがどのサーバーでも動かなければならない理由と、状態の行き先。

  • キャッシュ

    いちばんよく求められる答えを、データベースよりずっと速い場所に置いておく。

  • コンテンツ配信

    みんながダウンロードするものをユーザーの近くのサーバーにコピーして、光の速さと戦うのをやめよう。

データとストレージ

  • SQL か NoSQL か

    テーブルか、ドキュメントか、ただのキーか。それぞれのデータベースが得意なことと、手放すもの。

  • インデックス

    同じクエリが2秒かかることも、2ミリ秒で済むこともある理由。

  • ストレージエンジン

    データベースがあなたの書き込みを実際どう扱うのか、そして読み取り向けと書き込み向けのエンジンがある理由。

  • レプリケーション

    データベースのコピーを複数のマシンに置く。読み取りを増やすため、そして生き延びるために。

  • シャーディング

    データや書き込みが1台のマシンに収まらなくなったら、多数に分割する。

  • コンシステントハッシュ

    サーバーを足しても外しても、動くのはデータのごく一部だけ。

  • 大規模な一意 ID

    ほかの誰も決して使わない名前を各行に付ける。全員が並ぶ単一のカウンターなしで。

  • CAP と一貫性

    ネットワークが分断されると、データのコピーは「正しくあること」と「応答できること」のどちらかを選ばなければなりません。

  • 合意とリーダー

    一部に届かなくても、サーバーの集団がどうやって1人のリーダーと1つの歴史に合意するか。

  • トランザクションと分離

    2人、1つの席、同じミリ秒。データベースは同時の変更をどうやって正しく保つのか。

  • ファイルとメディア

    写真や動画はデータベースに入れるものではありません。代わりにどこへ置くのか、そしてどうやって出し入れするのか。

通信

  • REST・RPC・GraphQL

    プログラム同士がデータを頼み合う 3 つの方法と、それぞれが 4G のスマホに強いるコスト。

  • メッセージキュー

    すぐに返事をし、重い仕事はあとで行い、途中でジョブを一つも失わない。

  • Pub/Sub とイベント

    何かが起きたと知らせ、関心のある側に反応させる。誰も待たせずに。

  • リアルタイム更新

    何かが起きたことを、サーバーはどうやって伝えるのか。チャット、ライブスコア、通知。

信頼性

  • 冗長化とフェイルオーバー

    何もかもいつかは壊れます。どんな単一障害でも止まらないように設計しましょう。

  • レート制限

    各クライアントに公平な予算を与え、暴走した 1 つのスクリプトが全員を巻き込まないようにする。

  • タイムアウトとリトライ

    苦しんでいるサービスを安全に呼ぶ方法:時間内にあきらめ、慎重にリトライし、やめどきを知る。

  • オブザーバビリティ

    メトリクス、ログ、トレース:何が、どこで、なぜおかしいのかを素早く突き止める方法。

アーキテクチャ

  • モノリスかマイクロサービスか

    1 つのコードベースか、たくさんのサービスか?それぞれが何をもたらし、何を犠牲にし、どう移行するのか。

  • サービスディスカバリ

    インスタンスが増えたり消えたりする中で、サービス同士がどう互いを見つけるか。そして外部のすべての人のための 1 つの玄関。

  • サーガと分散トランザクション

    1 つの操作、複数のサービス、複数のデータベース:1 つの大きなトランザクションなしで、どうやって「全部か無か」を保つか。

  • バッチ処理とストリーム処理

    何十億ものイベントを処理する:夜間に大きなバッチで、あるいは届くそばから絶えず。

セキュリティ

  • 認証

    その人が誰かを証明する。しかも、その人のパスワード流出の原因にはならずに。

  • 認可

    誰なのかがわかっても、何を見て何をしてよいかはわからない。それをあらゆる場所で確かめる。

  • 暗号化とシークレット

    通信中とディスク上のデータ、そしてサービスが使う鍵やパスワードを守る。

リリース

  • テスト

    ユーザーが気づく前に、変更が安全だと知る。ロジックには速いテストを、それ以外には少しの遅いテストを。

  • CI/CD とデプロイ

    すべての変更を速く安全に本番へ届け、同じ速さで元に戻す。

システム全体

  • HLD と LLD

    同じシステムを二つの倍率で見る。サービスの地図と、その一つの内部。

  • URL 短縮サービスを設計

    最初のエンドツーエンドの設計。一行の依頼から、何十億ものリダイレクトをさばくシステムまで。

  • ニュースフィードを設計

    フォローしている全員の投稿を 200 ms で。そして、作業をいつ行うかという問い。

  • チャットを設計

    2,000 万本の開いた接続と、ひとつの約束:すべてのメッセージが、順番どおりに、ちょうど 1 回届く。

技術資料