Random variables — γρήγορος οδηγός

1. Νιώσε

Το έχεις ξανασυναντήσει σε άλλο μάθημα (Πιθανότητες & Στατιστική). Δεν θα το ξαναδιδάξουμε από την αρχή. Όμως αν το έχεις ξεχάσει ή δεν το είδες ποτέ καλά, αυτή η σελίδα είναι ο γρήγορος οδηγός: ένα recap εστιασμένο μόνο σε όσα χρειάζεται το K21.

Γιατί είναι κρίσιμο τώρα; Γιατί στο επόμενο κεφάλαιο κάθε στατιστική που θα γράψουμε για μια τυχαία διαδικασία είναι στο βάθος της απλώς μια στατιστική τυχαίας μεταβλητής σε σταθερό («παγωμένο») χρόνο:

Αν λοιπόν αυτή η σελίδα σου φαίνεται «εύκολη», αυτό είναι καλό σημάδι — σημαίνει ότι θα διαβάζεις τις επόμενες σελίδες χωρίς να σκοντάφτεις σε ΤΜ-διαδικαστικά.

2. Τι είναι μια τυχαία μεταβλητή

Μια τυχαία μεταβλητή (ΤΜ) $X$ — στα αγγλικά random variable, με συντομογραφία RV — είναι ένας αριθμός που παίρνει την τιμή του από ένα τυχαίο πείραμα. Θα τη γράφουμε ΤΜ σε όλη τη σελίδα. Παραδείγματα:

• Ρίξε νόμισμα: $X=0$ αν κορώνα, $X=1$ αν γράμματα.
• Μέτρα τη θερμοκρασία ενός αντιστάτη: $X$ = η ένδειξη του βολτομέτρου σε ένα τυχαίο πείραμα.
• Δες το επόμενο sample θορύβου από έναν δέκτη: $X$ = η τιμή του στο επόμενο millisecond.

Σύμβαση συμβολισμού — υπάρχουν τρεις βασικοί συμβολισμοί που θα δεις παντού στο κεφάλαιο:

Όταν δηλαδή γράφουμε $P(X\le x)$ ή $f_X(x)$, το $x$ είναι το «όρισμα» — δείχνει «σε ποια τιμή αξιολογώ τη συνάρτηση». Το $X$ από την άλλη είναι η ΤΜ καθαυτή. (Το σύμβολο $P(\cdot )$ διαβάζεται «η πιθανότητα του…» — το χρησιμοποιούμε αμέσως παρακάτω στην §3.)

3. CDF και PDF — η ταυτότητα μιας ΤΜ

Μια ΤΜ χαρακτηρίζεται πλήρως από την κατανομή πιθανότητας της — δηλαδή από το «ποιες τιμές παίρνει, και με τι πιθανότητα την καθεμία» (η έννοια που χτίσαμε διαισθητικά στο /randomness/why). Δύο ισοδύναμοι τρόποι να την περιγράψεις:

3α. CDF (cumulative distribution function)

Η CDF δίνει την πιθανότητα η ΤΜ να μην ξεπερνά κάποιο όριο $x$ — δηλαδή «πόση πιθανότητα έχει μαζευτεί μέχρι το $x$». Συγκεκριμένα, αυτή η μαζεμένη πιθανότητα είναι το εμβαδόν κάτω από την καμπύλη πυκνότητας $f_X$ από το $-\infty$ μέχρι το $x$:

(Η $f_X\ge 0$ είναι η πυκνότητα πιθανότητας — πόσο «πυκνά» στοιβάζεται πιθανότητα γύρω από κάθε τιμή· την ορίζουμε ακριβώς στην §3β αμέσως παρακάτω. Το $u$ είναι απλώς η μεταβλητή ολοκλήρωσης που «τρέχει» από το $-\infty$ μέχρι το όριο $x$ — γράφουμε $u$ και όχι $x$ για να μην μπερδεύεται με το σταθερό πάνω όριο.)

Με αυτή τη μορφή, το γιατί η $F_X$ είναι πάντα μη-φθίνουσα γίνεται προφανές: καθώς μεγαλώνει το $x$, το πάνω όριο του ολοκληρώματος μετακινείται δεξιά, οπότε σαρώνεις περισσότερο εμβαδόν κάτω από μια καμπύλη που δεν γίνεται ποτέ αρνητική ($f_X\ge 0$). Άρα το μαζεμένο εμβαδόν μόνο να μένει ίδιο ή να μεγαλώνει μπορεί — ποτέ να μικραίνει. (Με λόγια: για μεγαλύτερο $x$ προσθέτεις τις πιθανότητες ακόμη περισσότερων τιμών, και οι πιθανότητες δεν είναι ποτέ αρνητικές.) Τα δύο άκρα βγαίνουν από το ίδιο ολοκλήρωμα: $F_X(-\infty )=0$ (μηδενικό εμβαδόν — δεν έχει μαζευτεί τίποτα ακόμη) και $F_X(+\infty )=1$ (όλο το εμβαδόν κάτω από την $f_X$, που είναι πάντα 1 — η συνολική μάζα πιθανότητας).

3β. PDF (probability density function)

Μόλις γράψαμε την CDF ως ολοκλήρωμα της πυκνότητας $f_X$. Πηγαίνοντας αντίστροφα, η $f_X$ είναι η παράγωγος της CDF:

Αυτό δεν είναι νέος, ανεξάρτητος ορισμός — είναι ακριβώς το αντίστροφο του ολοκληρώματος της §3α. Η παράγωγος ενός ολοκληρώματος ως προς το πάνω όριό του σου δίνει πίσω την ίδια τη συνάρτηση που ολοκλήρωσες (αυτό είναι το θεμελιώδες θεώρημα του λογισμού). Άρα CDF και PDF είναι οι δύο όψεις του ίδιου νομίσματος: ολοκληρώνεις την πυκνότητα για να μαζέψεις πιθανότητα (CDF), παραγωγίζεις τη CDF για να πάρεις πίσω την πυκνότητα. Διαισθητικά: η πυκνότητα είναι ο ρυθμός με τον οποίο μαζεύεται η πιθανότητα καθώς προχωράς στο $x$.

Ιδιότητες: $f_X(x)\ge 0$ και ${\int }_{-\infty }^{\infty }{f}_X(x)dx=1$ (το ολικό εμβαδόν κάτω από την PDF είναι πάντα 1 — η συνολική «μάζα πιθανότητας»).

Διαβάζοντας την PDF — η πιθανότητα η ΤΜ να βρίσκεται σε ένα μικρό διάστημα γύρω από $x$ είναι περίπου $f_X(x)dx$. Όχι «η πιθανότητα να είναι ακριβώς $x$» — αυτή είναι 0 για συνεχείς ΤΜ. Σκέψου την PDF ως «πυκνότητα πιθανότητας» (γι' αυτό το όνομα). Για να πάρεις πραγματική πιθανότητα, ολοκληρώνεις:

3γ. Η ίδια ιδέα για διακριτές ΤΜ — PMF

Για διακριτές ΤΜ (που παίρνουν πεπερασμένες ή αριθμήσιμες τιμές — δηλαδή μια ξεχωριστή λίστα τιμών, π.χ. $0,1,2,\dots$, όχι ένα συνεχές διάστημα), χρησιμοποιούμε τη συνάρτηση μάζας πιθανότητας (probability mass function, PMF) αντί για PDF:

Εδώ το $P(X=x_i)$ είναι πραγματική πιθανότητα, όχι πυκνότητα.

4. Mean, variance, και ισχύς

4α. Expectation (μέσος, mean)

Το αριθμητικό «κέντρο» της κατανομής:

(ή ${\sum }_i{x}_i{p}_i$ για διακριτές).

Τι σου λέει ο μέσος; Είναι η «τυπική», κεντρική τιμή της ΤΜ — το σημείο ισορροπίας της κατανομής. Αν επαναλάμβανες το τυχαίο πείραμα πολλές φορές και σημείωνες κάθε φορά την τιμή της $X$, ο μακροπρόθεσμος μέσος όρος όλων αυτών των τιμών θα έτεινε στο $E[X]$. Στον τύπο, κάθε δυνατή τιμή $x$ «ζυγίζεται» με την πυκνότητα/πιθανότητά της $f_X(x)$ — γι' αυτό ο μέσος είναι ένας σταθμισμένος μέσος.

Τι ΔΕΝ σου λέει; Τίποτα για το πόσο απλώνονται οι τιμές γύρω από αυτό το κέντρο. Δύο ΤΜ μπορεί να έχουν ακριβώς τον ίδιο μέσο αλλά εντελώς διαφορετική συμπεριφορά: η μία να κάθεται κολλητά γύρω από τον μέσο, η άλλη να πετάγεται συχνά μακριά του. Αυτό το «πόσο μακριά απλώνεται» δεν φαίνεται καθόλου στον $E[X]$ — το μετράει η διασπορά (variance), που είναι ακριβώς το επόμενο βήμα (§4β).

4β. Variance (διασπορά)

Η μέση τετραγωνική απόκλιση από τον μέσο:

Standard deviation: ${\sigma }_X=\sqrt{{\sigma }_X^2}$.

Mean square value (η πιο «ηλεκτρική» στατιστική):

Γιατί νοιάζεσαι; Αν $X$ είναι μια στιγμιαία τιμή σήματος, τότε το $E[X^2]$ είναι η μέση ισχύς του σήματος. Για zero-mean σήματα (${\mu }_X=0$), ισχύς $=$ διασπορά $={\sigma }_X^2$. Αυτή είναι η σύνδεση που θα ξανασυναντήσεις σε κάθε υπολογισμό SNR αργότερα.

4γ. Linearity — και τα όριά της

Για οποιεσδήποτε σταθερές $a,b$ και ΤΜ $X,Y$:

Ισχύει πάντα, ανεξάρτητα από το αν τα $X,Y$ είναι ανεξάρτητα μεταξύ τους. Είναι η πιο χρήσιμη ιδιότητα στο κεφάλαιο — την εφαρμόζεις χωρίς δεύτερη σκέψη.

Για διασπορά όμως:

Εδώ εμφανίζεται μια καινούρια ποσότητα, το $\mathrm{Cov}(X,Y)$ (συνδιακύμανση / covariance): ένα μέτρο του πόσο «κινούνται μαζί» οι δύο ΤΜ. Δεν χρειάζεται να ξέρεις ακόμη τον τύπο της — τον χτίζουμε από το μηδέν στην §6γ· για τώρα αρκεί η διαίσθηση ότι μετράει μόνο τη γραμμική συμμεταβολή (το κατά πόσο τα ζεύγη $(X,Y)$ ακολουθούν μια ευθεία τάση, $Y\approx aX+b$) και είναι 0 όταν δεν υπάρχει τέτοια γραμμική σχέση (τότε οι ΤΜ λέγονται ασυσχέτιστες). Τι ακριβώς σημαίνει «γραμμική σχέση» και πώς την ελέγχεις, στην §6γ.

Ο σταυρωτός όρος $2ab\mathrm{Cov}(X,Y)$ εξαφανίζεται μόνο όταν $\mathrm{Cov}(X,Y)=0$ — αρκεί δηλαδή οι ΤΜ να είναι ασυσχέτιστες (η ανεξαρτησία είναι αρκετή, αλλά παραπάνω απ' όσο χρειάζεται). Αυτή η ασυμμετρία «linearity πάντα, variance υπό όρους» είναι κλασική πηγή λαθών.

5. Κύριες κατανομές που θα συναντήσεις

Πρώτα, η σημειογραφία $X\sim \dots$ Το σύμβολο $\sim$ διαβάζεται «ακολουθεί την κατανομή» (ή «κατανέμεται ως»). Έτσι το $X\sim U(a,b)$ σημαίνει «η $X$ έχει uniform κατανομή με παραμέτρους $a,b$» — μας λέει δηλαδή συνοπτικά ποια είναι η PDF της $X$. Το γράμμα πριν την παρένθεση είναι το όνομα της οικογένειας ($U$ = Uniform, $\mathcal{N}$ = Normal/Gaussian, …) και οι αριθμοί μέσα οι παράμετροί της. Π.χ. «$X\sim U(0,1)$» είναι σκέτη συντομογραφία του «$f_X(x)=1$ στο $[0,1]$, $0$ αλλιώς». (Για συνεχείς ΤΜ, $U[a,b]$ και $U(a,b)$ είναι ουσιαστικά το ίδιο: τα άκρα δεν αλλάζουν πιθανότητες, αφού ένα μεμονωμένο σημείο έχει πιθανότητα $0$.)

Αντί να τις διαβάσεις απλώς ως πίνακα, σύρε τους ολισθητές στο παρακάτω και νιώσε πώς η κάθε παράμετρος αλλάζει το σχήμα:

5α. Uniform U(a, b)

PDF: $f_X(x)=1/(b-a)$ για $x\in [a,b]$, αλλιώς 0.

• $E[X]=(a+b)/2$
• $\mathrm{Var}(X)=(b-a{)}^2/12$

Συχνή χρήση στο K21: η τυχαία φάση $\Theta \sim U(0,2\pi )$ (ή $U(-\pi ,\pi )$, ή $U(0,\pi )$) σε διαμορφώσεις — όταν δεν έχουμε καμία προτίμηση για συγκεκριμένη φάση, η ομοιόμορφη κατανομή είναι το «αμερόληπτο» μοντέλο. Θα τη συναντήσεις παντού στο επόμενο κεφάλαιο.

5β. Gaussian / Normal $\mathcal{N}(\mu ,{\sigma }^2)$

• $E[X]=\mu$
• $\mathrm{Var}(X)={\sigma }^2$
• 68 % της μάζας μέσα σε $\pm \sigma$, 95 % σε $\pm 2\sigma$, 99.7 % σε $\pm 3\sigma$ — αυτό είναι το «εμπειρικό κανόνα» που θα σου χρειαστεί για να εκτιμήσεις πιθανότητες σφαλμάτων στις noise σελίδες.

Πανταχού παρούσα στα συστήματα επικοινωνιών:

• Ο θερμικός θόρυβος ακολουθεί Gaussian κατανομή πλάτους — γι' αυτό λέμε AWGN (Additive White Gaussian Noise). Η αιτία είναι το Central Limit Theorem (CLT): ο θόρυβος είναι το άθροισμα πολλών μικρών ανεξάρτητων ηλεκτρικών διεγέρσεων, άρα τείνει να γίνει Gaussian.
• Πολλά τυχαία σήματα (interference, fading) προσεγγίζονται καλά ως Gaussian.

5γ. Exponential$(\lambda )$

• $E[X]=1/\lambda$
• $\mathrm{Var}(X)=1/{\lambda }^2$

Χρήση: χρόνοι μεταξύ τυχαίων γεγονότων (π.χ. arrivals πακέτων σε ένα δίκτυο). Το K21 δεν εξετάζει συστηματικά εκθετικές, αλλά είναι καλό να την αναγνωρίζεις — αν δεις «memoryless» ή «inter-arrival time», αυτή είναι.

5δ. Bernoulli, Binomial, Poisson

Διακριτές κατανομές — δεν αποτελούν κεντρικό υλικό στο K21:

• Bernoulli(p): $P(X=1)=p$, $P(X=0)=1-p$. Νόμισμα.
• Binomial(n, p): άθροισμα n ανεξάρτητων Bernoulli. «Πόσες κορώνες σε n ρίψεις;»
• Poisson(λ): αριθμός γεγονότων σε σταθερό διάστημα όταν ο ρυθμός είναι λ.

6. Joint distributions, independence, covariance

Πολλά πράγματα στο κεφάλαιο εμπλέκουν δύο ΤΜ (π.χ. $X(t_1)$ και $X(t_2)$ — η ίδια ΤΔ σε δύο διαφορετικές στιγμές). Χρειαζόμαστε λοιπόν εργαλεία για ζεύγη.

6α. Joint PDF

Για δύο ΤΜ $X,Y$, η joint PDF $f_{X,Y}(x,y)$ είναι η πυκνότητα του ζεύγους — το 2D ανάλογο της PDF μιας μεταβλητής: μια επιφάνεια πάνω από το επίπεδο των $(x,y)$, ψηλή εκεί όπου το ζεύγος εμφανίζεται συχνά. Η πιθανότητα ότι το $(X,Y)$ πέφτει σε μια μικρή περιοχή γύρω από $(x,y)$ είναι περίπου $f_{X,Y}(x,y)dxdy$.

Ορίζεται για οποιοδήποτε ζεύγος ΤΜ — ανεξάρτητα ή όχι — και είναι η πλήρης περιγραφή του πώς συν-κατανέμονται τα δύο. Δύο πράγματα να προσέξεις εδώ, γιατί μπερδεύουν. Πρώτον, εν γένει δεν χτίζεται από τις δύο ξεχωριστές $f_X,f_Y$ — σε λίγο θα δεις γιατί. Δεύτερον, και πιο σημαντικό για τα συστήματα επικοινωνιών: δεν σου δίνεται έτοιμη σαν τύπος $f_{X,Y}(x,y)=\dots$. Αυτό που έχεις στα χέρια σου είναι μια σχέση — π.χ. $Y=X+N$ (λαμβανόμενο = σήμα + θόρυβος), ή τα $X(t_1),X(t_2)$ της ίδιας ΤΔ σε δύο στιγμές, ή η είσοδος/έξοδος ενός φίλτρου — μαζί με τις κατανομές των κομματιών. Από αυτά την κατασκευάζεις· το εργαλείο της κατασκευής (ο κανόνας γινομένου) έρχεται αμέσως παρακάτω, και μετά τη φτιάχνουμε ολόκληρη σε ένα ρεαλιστικό παράδειγμα.

Marginals — από την joint μπορείς πάντα να γυρίσεις στην κατανομή μιας μόνο μεταβλητής, «ολοκληρώνοντας έξω» την άλλη:

Πρόσεξε την ασυμμετρία: joint $\to$ marginal γίνεται πάντα (ολοκληρώνεις έξω τη μία)· το αντίστροφο όχι — από τα δύο marginals και μόνο δεν ξαναφτιάχνεις την joint, γιατί σου λείπει το «δέσιμό» τους.

Αυτό το δέσιμο το δίνει η δεσμευμένη (conditional) πυκνότητα. Πράγματι, πάντα — ανεξάρτητα ή όχι — η joint γράφεται ως (δεσμευμένη) × (περιθώρια):

όπου $f_{X\mid Y}(x\mid y)$ διαβάζεται «η πυκνότητα της $X$ δεδομένου ότι η $Y$ πήρε την τιμή $y$». Το επιπλέον λοιπόν που χρειάζεσαι πέρα από τα δύο marginals είναι ακριβώς αυτή η δεσμευμένη — αυτή κουβαλάει όλη την πληροφορία για το πώς «δένεται» η μία ΤΜ με την άλλη.

Το $E[XY]$ και πώς πάντα «σπάει» σε δύο κομμάτια. Μόλις έχεις joint PDF, μπορείς να ορίσεις τον μέσο του γινομένου δύο ΤΜ, $E[XY]=\iint xy{f}_{X,Y}(x,y)dxdy$ — η ποσότητα-κλειδί για δύο ΤΜ μαζί. Αξίζει να δεις από τώρα ότι πάντα σπάει σε δύο κομμάτια:

Απόδειξη (μόνο linearity του $E$, αφού οι ${\mu }_X,{\mu }_Y$ είναι σταθερές): άνοιξε το γινόμενο μέσα στον ορισμό του $\mathrm{Cov}$,

και αναδιατάσσοντας παίρνεις $E[XY]={\mu }_X{\mu }_Y+\mathrm{Cov}(X,Y)$.

Με λόγια: το $E[XY]$ είναι το γινόμενο των μέσων (${\mu }_X{\mu }_Y$, το σταθερό «DC» κομμάτι) συν το πόσο οι δύο ΤΜ ταλαντώνονται μαζί γύρω από τους μέσους τους ($\mathrm{Cov}$). Τι ακριβώς μετράει το $\mathrm{Cov}$ και πώς το κανονικοποιούμε, το εξετάζουμε αναλυτικά στην §6γ· εδώ μας αρκεί η σχέση, γιατί κάνει την ανεξαρτησία που ακολουθεί να βγαίνει με μια κίνηση.

6β. Independence — το ισχυρότερο που μπορείς να πεις

Αυτή είναι ακριβώς η ειδική περίπτωση όπου η joint $f_{X,Y}$ (από την §6α) σπάει στο γινόμενο των δύο marginals. $X,Y$ είναι ανεξάρτητα αν και μόνο αν:

Συνδέεται απευθείας με τον κανόνα γινομένου της §6α: ανεξαρτησία σημαίνει ότι η δεσμευμένη πέφτει πάνω στην περιθώρια, $f_{X\mid Y}(x\mid y)=f_X(x)$ — δηλαδή το να ξέρεις την τιμή της $Y$ δεν αλλάζει καθόλου την κατανομή της $X$. Βάζοντας $f_{X\mid Y}=f_X$ στο γενικό $f_{X,Y}=f_{X\mid Y}{f}_Y$, καταρρέει αμέσως στο γινόμενο $f_X{f}_Y$.

Με λόγια: όταν είναι ανεξάρτητα, η πλήρης 2D περιγραφή καταρρέει στο γινόμενο των δύο 1D κομματιών — ξέρεις τα πάντα για το ζεύγος ξέροντας μόνο το καθένα χωριστά. Όταν δεν είναι ανεξάρτητα, η $f_{X,Y}$ εξακολουθεί να υπάρχει κανονικά (ορίστηκε στην §6α για κάθε ζεύγος) — απλώς δεν παραγοντοποιείται, και τη χρειάζεσαι ολόκληρη για να περιγράψεις το ζεύγος.

Συνέπεια που θα χρησιμοποιήσεις διαρκώς:

Γιατί ισχύει; Γρήγορη απόδειξη — χρειάζεσαι μόνο τον ορισμό του μέσου (LOTUS για συνάρτηση δύο ΤΜ, εδώ $g(X,Y)=XY$) και την ανεξαρτησία $f_{X,Y}=f_X{f}_Y$:

Το κρίσιμο βήμα είναι το σπάσιμο του διπλού ολοκληρώματος: μόλις ο integrand γράφεται «κάτι μόνο με $x$» επί «κάτι μόνο με $y$» (το $x{f}_X(x)$ επί το $y{f}_Y(y)$), τα δύο ολοκληρώματα ξεχωρίζουν. Χωρίς ανεξαρτησία η $f_{X,Y}$ δεν παραγοντοποιείται και το σπάσιμο δεν γίνεται, οπότε η ανεξαρτησία δεν εγγυάται πια την ισότητα — είναι όμως ικανή συνθήκη, όχι αναγκαία.

Δες το και μέσα από τη σχέση $E[XY]={\mu }_X{\mu }_Y+\mathrm{Cov}(X,Y)$: αυτό που μόλις αποδείξαμε σημαίνει ότι η ανεξαρτησία μηδενίζει το $\mathrm{Cov}$ — κόβει όλη τη συν-κίνηση και αφήνει μόνο το γινόμενο των μέσων, $E[XY]={\mu }_X{\mu }_Y=E[X]E[Y]$. Άρα «ανεξάρτητες ⇒ $\mathrm{Cov}=0$», δηλαδή ⇒ ασυσχέτιστες.

Πρόσεξε όμως την κατεύθυνση: το αντίστροφο δεν ισχύει. Η ισότητα (δηλαδή $\mathrm{Cov}=0$, «ασυσχέτιστες») μπορεί να κρατάει και για ΤΜ εξαρτημένες αλλά ασυσχέτιστες. Δηλαδή η ανεξαρτησία είναι ο πιο εύκολος λόγος να την επικαλεστείς (όποτε σου δίνεται, μπες κατευθείαν), όχι ο μοναδικός· τη γενική εικόνα (ανεξάρτητες / ασυσχέτιστες / ορθογώνιες) τη χτίζουμε στην §6δ.

Αυτή η ισότητα είναι το «εργαλείο μηδενισμού» που εφαρμόζεις παντού στο κεφάλαιο της ετεροσυσχέτισης — αν οι δύο ΤΜ είναι ανεξάρτητες, η ετεροσυσχέτιση «κόβει» στο γινόμενο των μέσων (βλ. slide 18 — Άσκηση 1 λύση 4/5 των διαφανειών).

6γ. Covariance & correlation

Πρώτα, τι εννοούμε «γραμμική σχέση»: δύο ΤΜ έχουν γραμμική σχέση όταν η μία είναι, κατά προσέγγιση, ένα σταθερό πολλαπλάσιο της άλλης συν μια σταθερά — $Y\approx aX+b$. Αν σχεδίαζες πολλά ζεύγη $(X,Y)$ ως σημεία σε άξονες, θα έπεφταν κοντά σε μια ευθεία γραμμή (ανηφορική αν $a>0$, κατηφορική αν $a<0$). «Καμία γραμμική σχέση» σημαίνει ότι δεν υπάρχει τέτοια ευθεία τάση — προσοχή, όχι ότι δεν υπάρχει καμία σχέση (μπορεί κάλλιστα να υπάρχει καμπύλη, όπως $Y=X^2$).

Covariance — ο τρόπος να το μετρήσεις:

Διάβασέ τον τύπο ως «έλεγχο»: για κάθε αποτέλεσμα κοιτάς αν το $X$ είναι πάνω ή κάτω από τον δικό του μέσο (το πρόσημο του $X-{\mu }_X$) και το ίδιο για το $Y$, και πολλαπλασιάζεις τις δύο αποκλίσεις.

• Αν τα δύο τείνουν να είναι μαζί πάνω ή μαζί κάτω από τους μέσους τους, τα γινόμενα βγαίνουν κυρίως θετικά → $\mathrm{Cov}>0$ (ανηφορική ευθεία τάση).
• Αν όταν το ένα ανεβαίνει το άλλο κατεβαίνει, τα γινόμενα είναι κυρίως αρνητικά → $\mathrm{Cov}<0$ (κατηφορική).
• Αν δεν υπάρχει τέτοια συστηματική τάση, τα θετικά και τα αρνητικά γινόμενα αλληλοεξουδετερώνονται → $\mathrm{Cov}\approx 0$.

Correlation coefficient (συντελεστής συσχέτισης) — το πρόβλημα του covariance είναι ότι η τιμή του εξαρτάται από τις μονάδες/κλίμακα των $X,Y$, οπότε σκέτο «μεγάλο» ή «μικρό» δεν λέει πόσο δυνατή είναι η σχέση. Το κανονικοποιούμε διαιρώντας με τα ${\sigma }_X,{\sigma }_Y$:

Το $\rho$ είναι ο καθαρός «δείκτης γραμμικότητας» — πάντα ανάμεσα σε $-1$ και $1$, ανεξάρτητα από μονάδες:

• $\rho =+1$: τέλεια ανηφορική ευθεία — τα σημεία πέφτουν ακριβώς πάνω σε γραμμή $Y=aX+b$ με $a>0$.
• $\rho =-1$: τέλεια κατηφορική ευθεία ($a<0$).
• $\rho =0$: καμία γραμμική τάση (γραμμικά ασύσχετα — όχι απαραίτητα ανεξάρτητα· βλ. trap παρακάτω).
• ενδιάμεσα: όσο πιο κοντά στο $\pm 1$, τόσο πιο «σφιχτά» μαζεμένα γύρω από μια ευθεία· όσο πιο κοντά στο $0$, τόσο πιο θολή η ευθεία τάση.

Άρα «πώς ελέγχω αν υπάρχει γραμμική σχέση;»: υπολογίζεις το $\mathrm{Cov}$ (ή, καθαρότερα, το $\rho$). Μη-μηδενικό → υπάρχει γραμμική τάση, και το πρόσημο δίνει την κατεύθυνση· μηδέν → καμία γραμμική τάση (αλλά, ξανά, μπορεί να κρύβεται καμπύλη σχέση — γι' αυτό «ασυσχέτιστες» δεν σημαίνει «ανεξάρτητες»).

Σύρε το $\rho$ στο παρακάτω interactive και δες τη γραμμική σχέση να «σφίγγει» γύρω από μια ευθεία ή να χαλαρώνει. Τα σημεία είναι χρωματισμένα με το πρόσημο του $(X-{\mu }_X)(Y-{\mu }_Y)$ — ακριβώς το μέγεθος που μέσο-ποιεί το covariance — οπότε βλέπεις γιατί βγαίνει θετικό, αρνητικό ή μηδέν. Πάτα και το preset «Καμπύλη $Y=X^2$»: η $Y$ καθορίζεται πλήρως από την $X$ (απόλυτη εξάρτηση) κι όμως το $\rho$ καταρρέει στο $\approx 0$ — η ζωντανή εκδοχή της παγίδας που έρχεται στην §6δ.

6δ. Τρεις όροι που μπερδεύονται: ανεξάρτητες, ασυσχέτιστες, ορθογώνιες

Αυτές οι τρεις λέξεις ακούγονται συνώνυμες αλλά δεν είναι — και το να τις μπερδέψεις είναι από τις πιο συχνές πηγές λάθους σε Σ/Λ. Πρώτα οι ορισμοί, καθαρά:

Δύο σχέσεις συνδέουν αυτούς τους όρους — μία «κάθετη» (πόσο δυνατή συνθήκη) και μία «οριζόντια» (η διαφορά τους):

(1) Κάθετα — από το πιο δυνατό στο πιο αδύνατο: ανεξάρτητες ⇒ ασυσχέτιστες, και ισχύει πάντα (αν παραγοντοποιείται η joint, τότε $E[XY]=E[X]E[Y]$, άρα $\mathrm{Cov}=0$). Το αντίστροφο όμως δεν ισχύει γενικά: ασυσχέτιστες ⇏ ανεξάρτητες — εκτός αν οι ΤΜ είναι jointly Gaussian (δηλαδή η από κοινού κατανομή τους $f_{X,Y}$ είναι Gaussian — όχι απλώς η καθεμία ξεχωριστά), οπότε μόνο τότε ταυτίζονται οι δύο έννοιες.

(2) Οριζόντια — ασυσχέτιστες vs ορθογώνιες: δεν είναι το ίδιο. Διαφέρουν ακριβώς κατά τον όρο $E[X]E[Y]$, αφού $\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]$. Άρα οι δύο συνθήκες («$\mathrm{Cov}=0$» και «$E[XY]=0$») γίνονται η ίδια ακριβώς όταν $E[X]E[Y]=0$ — δηλαδή όταν τουλάχιστον μία από τις δύο ΤΜ έχει μηδενικό μέσο. Στα συστήματα επικοινωνιών ο θόρυβος είναι σχεδόν πάντα zero-mean, οπότε εκεί «ασυσχέτιστες» και «ορθογώνιες» τις περισσότερες φορές συμπίπτουν — γι' αυτό είναι εύκολο να ξεχάσεις ότι γενικά είναι ξεχωριστές.

Η ορθογωνιότητα ($E[XY]=0$) δεν είναι ακαδημαϊκή λεπτομέρεια: όταν προσθέτεις δύο σήματα, ο σταυρωτός όρος στη μέση ισχύ είναι $E[(X+Y{)}^2]=E[X^2]+E[Y^2]+2E[XY]$, και το $2E[XY]$ μηδενίζεται ακριβώς όταν οι δύο είναι ορθογώνιες — τότε η ισχύς του αθροίσματος είναι το άθροισμα των δύο ισχύων (η αιτία του +3 dB στην άσκηση «Gaussian» πιο κάτω).

7. LOTUS — υπολόγισε E[g(X)] χωρίς να βρεις την κατανομή του g(X)

Αν $Y=g(X)$ είναι μια ντετερμινιστική συνάρτηση μιας ΤΜ, τότε:

Αυτό λέγεται Law of the Unconscious Statistician (LOTUS) — δεν χρειάζεται να βρεις πρώτα τη $f_Y(y)$. Απλώς πολλαπλασιάζεις τη $g(x)$ με τη γνωστή σου $f_X(x)$ και ολοκληρώνεις.

Δύο σχεδόν-κανόνες που θα τους δεις παντού: για $\Theta \sim U(0,2\pi )$,

και

Γιατί τα ξεχωρίζουμε; Γιατί είναι οι δύο συχνότερες ταυτότητες σε όλη τη θεωρία τυχαίων σημάτων του K21. Κάθε φορά που θα δεις $A\cos (2\pi f_{0}t+\Theta )$ με $\Theta$ uniform, αυτές οι δύο ταυτότητες θα είναι ακριβώς στην καρδιά του υπολογισμού.

8. Πώς συνδέεται με τις τυχαίες διαδικασίες

Αυτή είναι η πιο σημαντική παράγραφος της σελίδας — γιατί όλο το επόμενο κεφάλαιο χτίζεται πάνω στο πέρασμα ΤΜ → ΤΔ.

Παράδειγμα — Άσκηση 1 από τις διαφάνειες (slides 14–19):

Έστω η ΤΔ $X(t)=A\cos (2\pi f_{1}t+\varphi )$ με $A$, $f_1$ σταθερές και $\varphi \sim U[0,\pi ]$:

Πώς υπολογίζεις τον μέσο $m_X(t)$ της ΤΔ; Σε σταθερό $t$, η $X(t)$ είναι μια ΤΜ (που ως μοναδική πηγή τυχαιότητας έχει την $\varphi$). Άρα ο μέσος είναι LOTUS με $g(\varphi )=A\cos (2\pi f_{1}t+\varphi )$ και $f_{\varphi }(\varphi )=1/\pi$:

(Slide 15, ακριβώς αυτή η ροή.)

Παρατήρησε: η ΤΜ-μηχανή που χρησιμοποιήσαμε ήταν LOTUS + ολοκλήρωμα της PDF του $\varphi$. Καμία «νέα» ιδέα — απλώς οι §§ 3-7 σε εφαρμογή.

Πώς να διαβάσεις το viz — δες δύο άξονες:

• Οριζόντια (κάθε γραμμή ξεχωριστά): μία «realization» — μία πραγματοποίηση του τυχαίου πειράματος (μία τιμή της $\varphi$), που δίνει ένα συγκεκριμένο cosine.
• Κάθετα (μία στιγμή $t$): «τέμνεις» τις realizations σε σταθερό $t$ και παίρνεις την ΤΜ $X(t)$. Η ιστογραμμική κατανομή αυτών των τιμών είναι η PDF της $X(t)$ — και είναι αυτή που χρησιμοποιεί το LOTUS για να βρει $m_X(t),R_X(t_1,t_2),\dots$

9. Σύνοψη τύπων

10. Εξάσκηση

Έξι ασκήσεις πάνω στις τυχαίες μεταβλητές. Οι πέντε πρώτες δοκιμάζουν τις βασικές ταυτότητες· η έκτη είναι η γέφυρα προς το επόμενο κεφάλαιο — εφαρμόζει LOTUS στην ΤΔ της Άσκησης 1 των διαφανειών.

11. Ανακάλεσε — drills

12. Αναγνώρισε — όταν δεις αυτές τις φράσεις στην εξέταση

13. Πού θα χρειαστείς αυτές τις έννοιες αργότερα

• /randomness/random-processes — κάθε $m_X(t)$, $R_X(t_1,t_2)$, $C_X$ θα υπολογιστεί με LOTUS πάνω στις παραμέτρους τυχαιότητας της ΤΔ (όπως είδαμε στην slide-15-bridge άσκηση). Αυτό είναι το αμέσως επόμενο κεφάλαιο.
• /randomness/stationarity — η συνθήκη WSS είναι «μέσος σταθερός στο χρόνο, αυτοσυσχέτιση εξαρτάται μόνο από τη χρονική διαφορά $\tau$». Η §4α (mean) και η §3 (PDF/CDF) σου δίνουν τις στατιστικές που πρέπει να σταθεροποιηθούν.
• /randomness/psd — η Wiener-Khinchin είναι ο Fourier transform της autocorrelation $R_X(\tau )$. Η $R_X$ είναι το $E[X(t)X(t+\tau )]$ — πάλι ΤΜ-εκφώνηση πάνω στο joint distribution των $X(t),X(t+\tau )$ (§6α).
• /noise/sources — ο θερμικός θόρυβος έχει Gaussian κατανομή πλάτους (§5β). Το γιατί ακριβώς Gaussian (CLT) είναι load-bearing για το AWGN μοντέλο.
• /noise/through-filters — Gaussian θόρυβος μέσα από LTI παραμένει Gaussian. Αυτή είναι μια κρίσιμη ιδιότητα της Gaussian κατανομής (συνεπώς της §5β) που χρησιμοποιείται διαρκώς.
• /noise/bandpass — οι I/Q συνιστώσες του bandpass θορύβου είναι κάθε μία Gaussian και ανεξάρτητες μεταξύ τους — εδώ ο συνδυασμός §5β (Gaussian) + §6β (independence) πληρώνει.
• /am/modulator-demodulator — η ανάλυση AM-σήματος μέσα σε θόρυβο χρησιμοποιεί $E[n^2(t)]={\sigma }_n^2$ (§4β-§5β) ως ισχύ θορύβου στο SNR.

14. Συμπύκνωσε — όλο το κεφάλαιο