40 のインタラクティブなレッスンでシステム設計を学びます。負荷分散、キャッシュ、データベースを理解し、URL 短縮、フィード、チャットを設計します。
TCP と TLS を使う初回アクセスでは、ブラウザーはドメイン名を解決し、安全な接続を確立して HTTP リクエストを送ります。その後、サーバーの応答を描画します。
ネットワークは名前ではなく、数値の IP アドレスで経路を決めます。そこでブラウザはまず DNS リゾルバーに尋ねます:shop.example はどこ?
答え(203.0.113.7)は約 20 ms で返ってきます。
次にブラウザは 203.0.113.7 への接続を開きます。TCP ハンドシェイクで会話を取り決め、TLS ハンドシェイクで暗号化を準備します。どちらも 1 回の往復(ラウンドトリップ)が必要です。
ここでは 1 往復が 30 ms なので、ページを 1 バイトも要求しないうちに、接続だけで 60 ms かかります。
開いた接続の上で、ブラウザは GET /products を送ります。サーバーはそれを解析し、セッションを確認して、あなたのコードを実行します。
これでさらに 1 往復と、約 10 ms のサーバー処理がかかります。
商品は Web サーバーの中ではなく、データベースにあります。サーバーはクエリを送り、行が返ってくるのを待ちます。
リクエストが奥まで届き、レスポンスが外まで戻ってくる様子を見てください。
サーバーは行を HTML に変えて送り返し、ダウンロードにさらに 20 ms かかります。Enter を押してから 155 ms 後に、ブラウザがページを描画します。
続いてページ内の画像やスタイルシートに気づき、さらにリクエストを送ります。開いた接続を再利用するので、それらはハンドシェイクを省けます。
ページの読み込みを 1 ホップずつ追いかけて、時間が本当はどこに消えているのかを確かめます。
速さについての 2 つの問いと、忙しいサーバーが満杯になる前に遅くなる理由。
ナプキンに書ける程度の計算で、プロダクトのアイデアをサーバー台数とテラバイトに置き換える。
たった1台のサーバーが溶けかけています。大きいのを買う?それとも台数を増やす?
たくさんのサーバーに玄関を1つだけ。そして、どのリクエストを誰が受け取るかのルール。
次のリクエストがどのサーバーでも動かなければならない理由と、状態の行き先。
いちばんよく求められる答えを、データベースよりずっと速い場所に置いておく。
みんながダウンロードするものをユーザーの近くのサーバーにコピーして、光の速さと戦うのをやめよう。
テーブルか、ドキュメントか、ただのキーか。それぞれのデータベースが得意なことと、手放すもの。
同じクエリが2秒かかることも、2ミリ秒で済むこともある理由。
データベースがあなたの書き込みを実際どう扱うのか、そして読み取り向けと書き込み向けのエンジンがある理由。
データベースのコピーを複数のマシンに置く。読み取りを増やすため、そして生き延びるために。
データや書き込みが1台のマシンに収まらなくなったら、多数に分割する。
サーバーを足しても外しても、動くのはデータのごく一部だけ。
ほかの誰も決して使わない名前を各行に付ける。全員が並ぶ単一のカウンターなしで。
ネットワークが分断されると、データのコピーは「正しくあること」と「応答できること」のどちらかを選ばなければなりません。
一部に届かなくても、サーバーの集団がどうやって1人のリーダーと1つの歴史に合意するか。
2人、1つの席、同じミリ秒。データベースは同時の変更をどうやって正しく保つのか。
写真や動画はデータベースに入れるものではありません。代わりにどこへ置くのか、そしてどうやって出し入れするのか。
プログラム同士がデータを頼み合う 3 つの方法と、それぞれが 4G のスマホに強いるコスト。
すぐに返事をし、重い仕事はあとで行い、途中でジョブを一つも失わない。
何かが起きたと知らせ、関心のある側に反応させる。誰も待たせずに。
何かが起きたことを、サーバーはどうやって伝えるのか。チャット、ライブスコア、通知。
何もかもいつかは壊れます。どんな単一障害でも止まらないように設計しましょう。
各クライアントに公平な予算を与え、暴走した 1 つのスクリプトが全員を巻き込まないようにする。
苦しんでいるサービスを安全に呼ぶ方法:時間内にあきらめ、慎重にリトライし、やめどきを知る。
メトリクス、ログ、トレース:何が、どこで、なぜおかしいのかを素早く突き止める方法。
1 つのコードベースか、たくさんのサービスか?それぞれが何をもたらし、何を犠牲にし、どう移行するのか。
インスタンスが増えたり消えたりする中で、サービス同士がどう互いを見つけるか。そして外部のすべての人のための 1 つの玄関。
1 つの操作、複数のサービス、複数のデータベース:1 つの大きなトランザクションなしで、どうやって「全部か無か」を保つか。
何十億ものイベントを処理する:夜間に大きなバッチで、あるいは届くそばから絶えず。
その人が誰かを証明する。しかも、その人のパスワード流出の原因にはならずに。
誰なのかがわかっても、何を見て何をしてよいかはわからない。それをあらゆる場所で確かめる。
通信中とディスク上のデータ、そしてサービスが使う鍵やパスワードを守る。
ユーザーが気づく前に、変更が安全だと知る。ロジックには速いテストを、それ以外には少しの遅いテストを。
すべての変更を速く安全に本番へ届け、同じ速さで元に戻す。
同じシステムを二つの倍率で見る。サービスの地図と、その一つの内部。
最初のエンドツーエンドの設計。一行の依頼から、何十億ものリダイレクトをさばくシステムまで。
フォローしている全員の投稿を 200 ms で。そして、作業をいつ行うかという問い。
2,000 万本の開いた接続と、ひとつの約束:すべてのメッセージが、順番どおりに、ちょうど 1 回届く。