सिस्टम डिज़ाइन सीखें: 40 इंटरैक्टिव पाठ

40 इंटरैक्टिव पाठों में सिस्टम डिज़ाइन सीखें। लोड बैलेंसिंग, कैश और डेटाबेस समझें और URL शॉर्टनर, न्यूज़ फ़ीड और चैट सिस्टम डिज़ाइन करें।

ब्राउज़र पेज लोड करता है तो क्या होता है?

TCP और TLS से पहली बार जुड़ते समय ब्राउज़र डोमेन का पता खोजता है, सुरक्षित कनेक्शन बनाता है और HTTP अनुरोध भेजता है। फिर वह सर्वर की प्रतिक्रिया दिखाता है।

पता खोजना (DNS)

नेटवर्क नाम से नहीं, संख्या वाले IP पते से रूट करते हैं। इसलिए ब्राउज़र पहले एक DNS रिज़ॉल्वर से पूछता है: shop.example कहाँ है?

जवाब (203.0.113.7) लगभग 20 ms में लौट आता है।

RFC 1034 — Domain Names: Concepts and Facilities

कनेक्शन खोलना

अब ब्राउज़र 203.0.113.7 से कनेक्शन खोलता है। TCP हैंडशेक बातचीत तय करता है; TLS हैंडशेक एन्क्रिप्शन सेट करता है। हर एक को एक राउंड ट्रिप चाहिए: जाना और लौटना।

यहाँ एक राउंड ट्रिप 30 ms लेता है, इसलिए पेज का एक भी बाइट माँगने से पहले कनेक्ट करने में 60 ms लग जाते हैं।

अनुरोध भेजना

खुले कनेक्शन पर ब्राउज़र GET /products भेजता है। सर्वर उसे पार्स करता है, सेशन जाँचता है और आपका कोड चलाता है।

इसमें एक और राउंड ट्रिप और ~10 ms सर्वर का काम लगता है।

सर्वर डेटाबेस से पूछता है

प्रोडक्ट वेब सर्वर में नहीं, एक डेटाबेस में रहते हैं। सर्वर क्वेरी भेजता है और पंक्तियों के लौटने का इंतज़ार करता है।

देखिए कैसे एक अनुरोध पूरे रास्ते अंदर जाता है और जवाब पूरे रास्ते बाहर आता है।

जवाब घर लौटता है

सर्वर पंक्तियों को HTML में बदलकर वापस भेजता है; डाउनलोड में 20 ms और लगते हैं। Enter दबाने के 155 ms बाद ब्राउज़र पेज दिखा देता है।

फिर वह पेज में इमेज और स्टाइलशीट देखता है और और अनुरोध भेजता है। खुला कनेक्शन दोबारा इस्तेमाल करने से उनका हैंडशेक बच जाता है।

कोर्स

बुनियादी बातें

  • एक अनुरोध का सफ़र

    एक पेज लोड को हॉप-दर-हॉप फ़ॉलो करें, और जानें कि समय असल में कहाँ जाता है।

  • लेटेंसी और थ्रूपुट

    रफ़्तार के बारे में दो सवाल, और व्यस्त सर्वर भरने से पहले ही धीमे क्यों हो जाते हैं।

  • मोटा हिसाब

    ऐसे हिसाब से जो एक नैपकिन पर आ जाए, किसी प्रोडक्ट आइडिया को सर्वर और टेराबाइट में बदलिए।

स्केलिंग

  • वर्टिकल या हॉरिज़ॉन्टल

    आपका इकलौता सर्वर पिघल रहा है। बड़ा सर्वर खरीदें, या ज़्यादा सर्वर?

  • लोड बैलेंसिंग

    कई सर्वरों के लिए एक मुख्य दरवाज़ा, और यह तय करने के नियम कि कौन-सा अनुरोध किसे मिले।

  • स्टेटलेस सर्विस

    अगला अनुरोध किसी भी सर्वर पर क्यों चलना चाहिए, और स्टेट उसकी जगह कहाँ जाता है।

  • कैशिंग

    लोग जो जवाब सबसे ज़्यादा माँगते हैं, उन्हें डेटाबेस से कहीं तेज़ जगह पर रखिए।

  • कंटेंट डिलीवरी

    जो सब डाउनलोड करते हैं, उसे उपयोगकर्ताओं के पास के सर्वरों पर कॉपी कीजिए, और प्रकाश की गति से लड़ना बंद कीजिए।

डेटा और स्टोरेज

  • SQL या NoSQL

    टेबल, डॉक्यूमेंट या सादी कुंजियाँ: हर तरह का डेटाबेस किसमें अच्छा है, और क्या छोड़ देता है।

  • इंडेक्स

    एक ही क्वेरी दो सेकंड या दो मिलीसेकंड क्यों ले सकती है।

  • स्टोरेज इंजन

    डेटाबेस आपके write के साथ असल में क्या करता है — और क्यों कुछ इंजन reads के लिए बने हैं और कुछ writes के लिए।

  • रेप्लिकेशन

    डेटाबेस की कॉपियाँ कई मशीनों पर रखिए — ज़्यादा reads के लिए और बचे रहने के लिए।

  • शार्डिंग

    जब डेटा या writes एक मशीन से बड़े हो जाएँ, तो उन्हें कई मशीनों में बाँट दीजिए।

  • कंसिस्टेंट हैशिंग

    सर्वर जोड़िए या हटाइए, और डेटा का बस एक पतला-सा हिस्सा खिसकाइए।

  • बड़े पैमाने पर यूनिक ID

    हर row को ऐसा नाम देना जो कोई और कभी इस्तेमाल न करे — बिना एक ऐसे counter के जिसके लिए सबको कतार लगानी पड़े।

  • CAP और कंसिस्टेंसी

    जब network टूटता है, तो आपके डेटा की कॉपियों को सही होने और पहुँच में रहने के बीच चुनना पड़ता है।

  • सहमति और लीडर

    सर्वरों का एक समूह एक leader और एक इतिहास पर कैसे सहमत होता है — तब भी जब कुछ तक पहुँचा न जा सके।

  • ट्रांज़ैक्शन और आइसोलेशन

    दो लोग, एक सीट, एक ही millisecond। डेटाबेस एक साथ होने वाले बदलावों को सही कैसे रखते हैं।

  • फ़ाइलें और मीडिया

    फ़ोटो और वीडियो आपके डेटाबेस में नहीं रखे जाते: वे इसके बजाय कहाँ जाते हैं, और वहाँ तक कैसे पहुँचते और लौटते हैं।

संचार

  • REST, RPC और GraphQL

    प्रोग्राम एक-दूसरे से चीज़ें माँगने के तीन तरीके, और हर तरीका 4G पर चल रहे फ़ोन को कितना महँगा पड़ता है।

  • मैसेज क्यू

    तुरंत जवाब दीजिए, धीमा काम बाद में कीजिए, और रास्ते में कभी कोई जॉब मत खोइए।

  • Pub/Sub और इवेंट

    बताइए कि कुछ हुआ है, और जिसे परवाह हो उसे प्रतिक्रिया देने दीजिए, बिना किसी के इंतज़ार किए।

  • रियल-टाइम अपडेट

    सर्वर आपको कैसे बताता है कि कुछ हुआ: चैट, लाइव स्कोर, नोटिफ़िकेशन।

विश्वसनीयता

  • रिडंडेंसी और फ़ेलओवर

    आख़िरकार सब कुछ फ़ेल होता है। ऐसे डिज़ाइन कीजिए कि कोई एक अकेली ख़राबी आपको गिरा न दे।

  • रेट लिमिटिंग

    हर क्लाइंट को एक उचित बजट दीजिए, ताकि बेक़ाबू हुई कोई एक स्क्रिप्ट सबको न गिरा दे।

  • टाइमआउट और रीट्राई

    मुश्किल में फँसी सर्विस को सुरक्षित ढंग से कॉल करना: समय पर हार मानिए, सावधानी से दोबारा कोशिश कीजिए, और जानिए कब रुकना है।

  • ऑब्ज़र्वेबिलिटी

    मेट्रिक्स, लॉग और ट्रेस: जल्दी पता करना कि क्या गड़बड़ है, कहाँ और क्यों।

आर्किटेक्चर

सुरक्षा

  • ऑथेंटिकेशन

    यह साबित करना कि कोई कौन है, बिना उसके पासवर्ड के लीक होने की वजह बने।

  • ऑथराइज़ेशन

    यह जानना कि कोई कौन है, यह नहीं बताता कि वह क्या देख या कर सकता है। हर जगह इसकी जाँच।

  • एन्क्रिप्शन और सीक्रेट

    नेटवर्क पर और डिस्क पर डेटा की सुरक्षा, और उन चाबियों और पासवर्ड की भी जो आपकी सर्विस इस्तेमाल करती हैं।

डिलीवरी

  • टेस्टिंग

    यूज़र के पता लगाने से पहले जानना कि बदलाव सुरक्षित है: लॉजिक के लिए तेज़ टेस्ट, बाकी सब के लिए कुछ धीमे।

  • CI/CD और डिप्लॉयमेंट

    हर बदलाव को जल्दी और सुरक्षित रूप से प्रोडक्शन तक पहुँचाना, और उतनी ही जल्दी वापस लेना।

पूरे सिस्टम

  • HLD और LLD

    एक ही सिस्टम, दो ज़ूम लेवल पर: सर्विसों का नक्शा, और उनमें से एक का अंदरूनी हिस्सा।

  • URL शॉर्टनर डिज़ाइन करें

    पहला शुरू से आख़िर तक का डिज़ाइन: एक लाइन के ब्रीफ़ से अरबों रीडायरेक्ट संभालने वाले सिस्टम तक।

  • न्यूज़ फ़ीड डिज़ाइन करें

    जिन्हें आप फ़ॉलो करते हैं, उन सबकी पोस्ट 200 ms में, और यह सवाल कि काम कब किया जाए।

  • चैट सिस्टम डिज़ाइन करें

    दो करोड़ खुले कनेक्शन और एक वादा: हर मैसेज पहुँचेगा, क्रम से, ठीक एक बार।

तकनीकी संदर्भ