Σχεδιασμός συστημάτων σε 40 μαθήματα

Μάθετε σχεδιασμό συστημάτων σε 40 μαθήματα με διαγράμματα. Δείτε εξισορρόπηση φορτίου, προσωρινή μνήμη, βάσεις δεδομένων, ουρές και συστήματα συνομιλίας.

Τι συμβαίνει όταν ο περιηγητής φορτώνει μια σελίδα;

Στην πρώτη επίσκεψη μέσω TCP και TLS, ο περιηγητής επιλύει το όνομα τομέα, ανοίγει ασφαλή σύνδεση και στέλνει αίτημα HTTP. Στη συνέχεια εμφανίζει την απάντηση του διακομιστή.

Εύρεση της διεύθυνσης (DNS)

Τα δίκτυα δρομολογούν με αριθμητική διεύθυνση IP, όχι με όνομα. Έτσι ο browser ρωτά πρώτα έναν resolver DNS: πού είναι το shop.example;

Η απάντηση (203.0.113.7) επιστρέφει σε περίπου 20 ms.

RFC 1034 — Domain Names: Concepts and Facilities

Άνοιγμα σύνδεσης

Τώρα ο browser ανοίγει σύνδεση με το 203.0.113.7. Ένα TCP handshake συμφωνεί τη συνομιλία· ένα TLS handshake στήνει την κρυπτογράφηση. Το καθένα θέλει ένα round trip: πήγαινε-έλα.

Εδώ ένα round trip κρατά 30 ms, οπότε η σύνδεση κοστίζει 60 ms πριν ζητηθεί έστω ένα byte της σελίδας.

Αποστολή του αιτήματος

Πάνω στην ανοιχτή σύνδεση ο browser στέλνει GET /products. Ο server το αναλύει, ελέγχει τη συνεδρία και τρέχει τον κώδικά σου.

Αυτό κοστίζει άλλο ένα round trip συν ~10 ms δουλειάς του server.

Ο server ρωτά τη βάση δεδομένων

Τα προϊόντα δεν ζουν στον web server· ζουν σε μια βάση δεδομένων. Ο server στέλνει ένα query και περιμένει να γυρίσουν οι γραμμές.

Δες ένα αίτημα να κάνει όλη τη διαδρομή μέσα και την απάντηση όλη τη διαδρομή έξω.

Η απάντηση γυρίζει σπίτι

Ο server κάνει τις γραμμές HTML και το στέλνει πίσω· η λήψη θέλει άλλα 20 ms. Ο browser εμφανίζει τη σελίδα 155 ms αφού πάτησες Enter.

Μετά βλέπει εικόνες και stylesheets στη σελίδα και στέλνει κι άλλα αιτήματα. Η επαναχρησιμοποίηση της ανοιχτής σύνδεσης τους γλιτώνει το handshake.

Μάθημα

Βασικά

Κλιμάκωση

  • Κάθετη ή οριζόντια

    Ο μοναδικός σου server λιώνει. Αγοράζεις έναν μεγαλύτερο ή περισσότερους;

  • Κατανομή φορτίου

    Μία εξώπορτα για πολλούς servers, και οι κανόνες για το ποιος παίρνει ποιο αίτημα.

  • Υπηρεσίες χωρίς κατάσταση

    Γιατί το επόμενο αίτημα πρέπει να δουλεύει σε οποιονδήποτε server, και πού πηγαίνει η κατάσταση αντί γι’ αυτό.

  • Caching

    Κράτα τις απαντήσεις που ζητούνται πιο συχνά κάπου πολύ πιο γρήγορα από τη βάση δεδομένων.

  • Διανομή περιεχομένου

    Αντίγραψε ό,τι κατεβάζουν όλοι σε servers κοντά στους χρήστες σου, και σταμάτα να παλεύεις με την ταχύτητα του φωτός.

Δεδομένα & αποθήκευση

  • SQL ή NoSQL

    Πίνακες, έγγραφα ή απλά κλειδιά: σε τι είναι καλό κάθε είδος βάσης δεδομένων, και τι θυσιάζει.

  • Ευρετήρια

    Γιατί το ίδιο ερώτημα μπορεί να πάρει δύο δευτερόλεπτα ή δύο χιλιοστά του δευτερολέπτου.

  • Μηχανές αποθήκευσης

    Τι κάνει πραγματικά μια βάση δεδομένων με την εγγραφή σου, και γιατί κάποιες φτιάχνονται για αναγνώσεις κι άλλες για εγγραφές.

  • Αναπαραγωγή δεδομένων

    Κρατήστε αντίγραφα της βάσης σε πολλά μηχανήματα: για περισσότερες αναγνώσεις και για να επιβιώνετε.

  • Sharding

    Όταν τα δεδομένα ή οι εγγραφές ξεπερνούν ένα μηχάνημα, μοιράστε τα σε πολλά.

  • Consistent hashing

    Προσθέστε ή αφαιρέστε διακομιστές και μετακινήστε μόνο μια λεπτή φέτα των δεδομένων.

  • Μοναδικά IDs σε κλίμακα

    Δώστε σε κάθε γραμμή ένα όνομα που κανείς άλλος δεν θα χρησιμοποιήσει ποτέ, χωρίς έναν μετρητή όπου όλοι περιμένουν στην ουρά.

  • CAP & συνέπεια

    Όταν το δίκτυο κόβεται, τα αντίγραφα των δεδομένων σας πρέπει να διαλέξουν ανάμεσα στο να έχουν δίκιο και στο να είναι προσβάσιμα.

  • Συναίνεση & leaders

    Πώς μια ομάδα διακομιστών συμφωνεί σε έναν leader και μία ιστορία, ακόμα κι όταν κάποιοι δεν είναι προσβάσιμοι.

  • Συναλλαγές & απομόνωση

    Δύο άνθρωποι, μία θέση, το ίδιο χιλιοστό. Πώς οι βάσεις κρατούν σωστές τις ταυτόχρονες αλλαγές.

  • Αρχεία & πολυμέσα

    Οι φωτογραφίες και τα βίντεο δεν ανήκουν στη βάση δεδομένων σας: πού πηγαίνουν αντί γι’ αυτό, και πώς φτάνουν εκεί και επιστρέφουν.

Επικοινωνία

  • REST, RPC & GraphQL

    Τρεις τρόποι με τους οποίους τα προγράμματα ζητούν πράγματα το ένα από το άλλο, και τι κοστίζει ο καθένας σε ένα κινητό με 4G.

  • Ουρές μηνυμάτων

    Απαντήστε αμέσως, κάντε την αργή δουλειά αργότερα, και μη χάσετε ποτέ μια εργασία στον δρόμο.

  • Pub/Sub & γεγονότα

    Ανακοινώστε ότι κάτι συνέβη, και αφήστε όποιον ενδιαφέρεται να αντιδράσει, χωρίς να περιμένει κανείς.

  • Ενημερώσεις σε πραγματικό χρόνο

    Πώς σας λέει ο διακομιστής ότι κάτι συνέβη: chat, ζωντανά σκορ, ειδοποιήσεις.

Αξιοπιστία

  • Πλεονασμός & failover

    Όλα κάποτε χαλάνε. Σχεδιάστε έτσι ώστε καμία μεμονωμένη βλάβη να μη σας ρίχνει.

  • Περιορισμός ρυθμού

    Δώστε σε κάθε client έναν δίκαιο προϋπολογισμό, ώστε ένα ανεξέλεγκτο script να μη ρίξει όλους.

  • Timeouts & επαναλήψεις

    Πώς καλείτε με ασφάλεια μια υπηρεσία που δυσκολεύεται: εγκαταλείπετε εγκαίρως, ξαναδοκιμάζετε προσεκτικά και ξέρετε πότε να σταματήσετε.

  • Παρατηρησιμότητα

    Μετρικές, logs και traces: πώς βρίσκετε γρήγορα τι πάει στραβά, πού και γιατί.

Αρχιτεκτονική

  • Μονόλιθος ή microservices

    Μία βάση κώδικα ή πολλές υπηρεσίες; Τι σας δίνει το καθένα, τι κοστίζει και πώς περνάτε από το ένα στο άλλο.

  • Εύρεση υπηρεσιών

    Πώς βρίσκουν οι υπηρεσίες η μία την άλλη όταν τα instances έρχονται και φεύγουν, και μία κεντρική είσοδος για όλους απ’ έξω.

  • Sagas & κατανεμημένες συναλλαγές

    Μία ενέργεια, πολλές υπηρεσίες, πολλές βάσεις δεδομένων: πώς κρατάτε το όλα-ή-τίποτα χωρίς μία μεγάλη συναλλαγή.

  • Επεξεργασία batch & stream

    Επεξεργασία δισεκατομμυρίων γεγονότων: τη νύχτα σε μεγάλες παρτίδες, ή συνεχώς καθώς φτάνουν.

Ασφάλεια

  • Αυθεντικοποίηση

    Να αποδείξετε ποιος είναι κάποιος, χωρίς να γίνετε ο λόγος που διαρρέει ο κωδικός του.

  • Εξουσιοδότηση

    Το να ξέρετε ποιος είναι κάποιος δεν σας λέει τι επιτρέπεται να δει ή να κάνει. Αυτό ελέγχεται παντού.

  • Κρυπτογράφηση & μυστικά

    Προστασία των δεδομένων στο δίκτυο, στον δίσκο, και των κλειδιών και κωδικών που χρησιμοποιούν οι υπηρεσίες σας.

Παράδοση

  • Testing

    Να ξέρετε ότι μια αλλαγή είναι ασφαλής πριν το ανακαλύψουν οι χρήστες σας: γρήγορα τεστ για τη λογική, λίγα αργά για όλα τα υπόλοιπα.

  • CI/CD & deployments

    Κάθε αλλαγή στην παραγωγή γρήγορα και με ασφάλεια, και πίσω εξίσου γρήγορα.

Ολοκληρωμένα συστήματα

  • HLD & LLD

    Το ίδιο σύστημα σε δύο επίπεδα εστίασης: ο χάρτης των υπηρεσιών και το εσωτερικό μίας από αυτές.

  • Σχεδίασε έναν URL shortener

    Ένας πρώτος σχεδιασμός από άκρη σε άκρη: από μια περιγραφή μίας γραμμής σε ένα σύστημα που εξυπηρετεί δισεκατομμύρια ανακατευθύνσεις.

  • Σχεδίασε ένα news feed

    Αναρτήσεις από όλους όσους ακολουθείτε, σε 200 ms, και το ερώτημα πότε γίνεται η δουλειά.

  • Σχεδίασε ένα σύστημα chat

    Είκοσι εκατομμύρια ανοιχτές συνδέσεις και μία υπόσχεση: κάθε μήνυμα φτάνει, με τη σειρά, ακριβώς μία φορά.

Τεχνικές πηγές