Randomness · 3·~38 min read·🟡 Foundation page — εδώ «κάνει κλικ» η ΤΜ-μηχανή σε ΤΔ

Τυχαίες διαδικασίες — όπου η ΤΜ-μηχανή γίνεται ΤΔ-μηχανή

Χρειάζεσαι:Γιατί χρειαζόμαστε πιθανότητα Random variables

1. Νιώσε — γιατί αυτή η σελίδα είναι το «κλικ»

Στις δύο προηγούμενες σελίδες χτίσαμε εργαλεία:

/randomness/why μας έδωσε το λεξιλόγιο (ΤΔ, ΤΜ, ensemble, realization) και την αίσθηση γιατί χρειαζόμαστε στατιστικές αντί για κλειστές φόρμες.
/randomness/random-variables μας έδωσε τη μηχανή ΤΜ: PDF $f_{X} (a)$ , μέσο $E [X]$ , διασπορά, LOTUS $E [g (X)] = \int g (x) f_{X} (x) d x$ , joint/independence/covariance.

Εδώ τα δύο ενώνονται. Παίρνουμε αυτή ακριβώς τη μηχανή ΤΜ και τη ρίχνουμε πάνω σε ολόκληρες τυχαίες διαδικασίες $X (t)$ . Δεν εφευρίσκουμε κανένα καινούργιο μαθηματικό εργαλείο σε αυτή τη σελίδα — εφαρμόζουμε τα παλιά εργαλεία σε κάθε χρονική στιγμή ξεχωριστά, και ονομάζουμε το αποτέλεσμα συνάρτηση του χρόνου:

Από ΤΜ (Random variables)	Σε ΤΔ (αυτή η σελίδα)
$E [X] = \int a f_{X} (a) d a$ (αριθμός)	$m_{X} (t) = E [X (t)] = \int a f_{X (t)} (a) d a$ ( $\to$ συνάρτηση του $t$ )
$E [X Y]$ (αριθμός για 2 ΤΜ)	$R_{X} (t_{i}, t_{j}) = E [X (t_{i}) X (t_{j})]$ ( $\to$ συνάρτηση 2 χρόνων)
$Cov (X, Y) = E [X Y] - E [X] E [Y]$	$C_{X} (t_{i}, t_{j}) = R_{X} (t_{i}, t_{j}) - m_{X} (t_{i}) m_{X} (t_{j})$
Ανεξάρτητες ΤΜ → joint PDF παραγοντοποιείται	Ασυσχέτιστες/ορθογώνιες ΤΔ → cross-correlation παραγοντοποιείται ή μηδενίζεται

Τι πληρώνει από εδώ και κάτω

Αυτές οι τέσσερις ποσότητες ( $m_{X} (t)$ , $R_{X}$ , $C_{X}$ , $R_{X, Y}$ ) είναι ολόκληρη η μηχανή που χρειάζεσαι για:

Επόμενη σελίδα	Τι ξεκλειδώνει
/randomness/stationarity	Συνθήκη WSS (wide-sense stationary): « $m_{X} (t)$ σταθερό και $R_{X}$ μόνο της διαφοράς $τ$ ». Δες παρακάτω §10 για ένα παράδειγμα WSS και §9 για ένα NON-WSS παράδειγμα.
/randomness/psd	Wiener-Khinchin: $S_{X} (f) = F {R_{X} (τ)}$ . Χωρίς $R_{X}$ δεν υπάρχει PSD.
/noise/sources	Θερμικός θόρυβος ορίζεται ως WSS ΤΔ με συγκεκριμένη PSD.
/noise/through-filters	$R_{Y} (τ) = R_{X} (τ) * h (τ) * h (- τ)$ — όλο το LTI-with-noise σε μία γραμμή με την $R_{X}$ .
/noise/bandpass	Bandpass θόρυβος → I/Q ΤΔ· ορίζονται από cross-correlation $R_{n_{I}, n_{Q}}$ .

Αν δεν δουλέψει ο μηχανισμός εδώ, όλα τα downstream μαθήματα γίνονται μαύρα κουτιά. Στόχος της σελίδας: στο τέλος, όταν δεις «βρες $R_{X} (t_{1}, t_{2})$ της $X (t) = A cos (2 π f_{1} t + ϕ)$ », να ξέρεις μηχανικά τι να κάνεις, σαν να βρίσκεις τον μέσο μιας ΤΜ.

2. Ορισμός — το lexilogio βήμα-βήμα

Η τυχαία διαδικασία ορίζεται ως σύνολο όλων των δυνατών κυματομορφών δειγμάτων. Έστω το σήμα $x (t) = A cos (2 π f_{0} t + ϕ)$ , όπου το $ϕ$ είναι τυχαία μεταβλητή με τιμές στο $[- π, π]$ . Το σήμα $x (t)$ για συγκεκριμένο $ϕ_{i}$ το συμβολίζουμε $x_{i} (t)$ και το λέμε δείγμα του τυχαίου σήματος. Το σύνολο όλων αυτών,

X (t) ≜ {x_{i} (t) ∣ \forall ϕ_{i} \in [- π, π]},

ονομάζεται Τυχαία Διαδικασία (ΤΔ).

Δηλαδή: η ΤΔ $X (t)$ είναι όλη η οικογένεια των δυνατών δειγμάτων — όχι ένα συγκεκριμένο δείγμα. Όταν μετράς το microphone σου, η συγκεκριμένη ηχογράφηση είναι ένα $x_{i} (t)$ . Η ΤΔ είναι «όλες οι ηχογραφήσεις που θα μπορούσες να είχες κάνει για κάθε δυνατή τιμή των τυχαίων παραμέτρων».

2α. Πίνακας συμβολισμού

Τέσσερα διαφορετικά σύμβολα — όλα με $X, x, t, i, j$ — με εντελώς διαφορετική σημασία:

Σύμβολο	Τι είναι	Σταθερό	Μεταβλητό
$X (t)$	Η ΤΔ ως οντότητα	—	$t$ (συνάρτηση του χρόνου)
$x_{i} (t)$	Δείγμα (μία συγκεκριμένη κυματομορφή)	$ϕ_{i}$ (παράμετρος τυχαιότητας)	$t$
$X (t_{i})$	ΤΜ στη χρονική στιγμή $t_{i}$	$t_{i}$ (συγκεκριμένος χρόνος)	$ϕ$ (τυχαία παράμετρος)
$x_{i} (t_{j})$	Αριθμός — τιμή του δείγματος $i$ στη στιγμή $t_{j}$	$ϕ_{i}$ και $t_{j}$	—

Διάβασε αργά: $X (t_{i})$ είναι τυχαία μεταβλητή (μία τιμή για κάθε realization). $x_{i} (t)$ είναι ντετερμινιστική συνάρτηση (όλη η κυματομορφή για ένα συγκεκριμένο $ϕ_{i}$ ). Αυτή η διπλή ερμηνεία είναι ο πυρήνας της ΤΔ.

2β. Επίσημα — δύο παράμετροι

Αυστηρά, μια ΤΔ είναι συνάρτηση δύο μεταβλητών:

X (t, ω), t \in T, ω \in Ω

$t$ είναι ο χρόνος.
$ω$ είναι το αποτέλεσμα του τυχαίου πειράματος.
$Ω$ είναι ο χώρος όλων των δυνατών αποτελεσμάτων.

Δύο τρόποι να «τέμνεις» μια ΤΔ — και αυτός είναι ο τρόπος που η ΤΜ-μηχανή κάνει κλικ μέσα στην ΤΔ-εικόνα:

Σταθερό $t$ , μεταβλητό $ω$ : $X (t_{0}, \cdot)$ είναι μια τυχαία μεταβλητή — η τιμή κάθε realization στη στιγμή $t_{0}$ . Εδώ εφαρμόζεις όλη τη μηχανή του /randomness/random-variables.
Σταθερό $ω$ , μεταβλητός $t$ : $X (\cdot, ω_{0})$ είναι μια realization — ένα ντετερμινιστικό σήμα. Εδώ εφαρμόζεις σήματα-και-συστήματα (time average, Fourier).

Στην πράξη παραλείπουμε τη γραφή του $ω$ και γράφουμε απλά $X (t)$ — αλλά να θυμάσαι πάντα ότι σε σταθερό $t$ είναι ΤΜ.

Realizations ενός random process

✓ Αυτό το process είναι stationary: η ensemble statistics δεν αλλάζουν με τον χρόνο. Μπορείς να μιλάς για «μέσο» και «αυτοσυσχέτιση» χωρίς να ορίζεις χρόνο.

Πάτα τα διάφορα presets και πρόσεξε: κάθε γραμμή είναι ένα $x_{i} (t)$ (ένα δείγμα), και το άθροισμα όλων των γραμμών στη στιγμή $t_{0}$ είναι η ΤΜ $X (t_{0})$ . Όταν αλλάζεις από ντετερμινιστικό προς θόρυβο, βλέπεις πώς η ΤΔ «ανοίγει» — οι realizations αποκλίνουν όλο και πιο πολύ μεταξύ τους.

3. Παράδειγμα — μία διακριτή ΤΔ από την αρχή

Πριν φτάσουμε στους ορισμούς $m_{X}, R_{X}$ κ.ο.κ., ας δούμε ένα καθαρά διακριτό παράδειγμα — ο πιο γρήγορος τρόπος να δεις την έννοια « $X (t_{0})$ είναι ΤΜ».

Έστω η ΤΔ $X (t) = cos (2 π t + ϕ)$ όπου $ϕ$ ΤΜ που παίρνει τις τιμές $0, π /4, π /2, 3 π /4$ με ίση πιθανότητα.

Επειδή το $ϕ$ παίρνει τέσσερις τιμές, η ΤΔ έχει τέσσερα δείγματα:

x_{1} (t) = cos (2 π t), x_{2} (t) = cos (2 π t + \frac{π}{4}), x_{3} (t) = cos (2 π t + \frac{π}{2}), x_{4} (t) = cos (2 π t + \frac{3 π}{4})

Καθένα είναι ντετερμινιστικό. Αλλά η ΤΔ $X (t)$ είναι όλα μαζί ως οικογένεια.

3α. Τι σημαίνει « $X (0)$ είναι ΤΜ»;

Παγώνω τον χρόνο στο $t = 0$ . Παίρνω την τιμή κάθε δείγματος:

x_{1} (0) = cos (0) = 1, x_{2} (0) = cos (\frac{π}{4}) = \frac{2}{2}, x_{3} (0) = cos (\frac{π}{2}) = 0, x_{4} (0) = cos (\frac{3 π}{4}) = - \frac{2}{2}

Επειδή το $ϕ$ είναι ισοπίθανο, καθεμία τιμή έχει πιθανότητα $1/4$ . Άρα η PMF της ΤΜ $X (0)$ είναι:

f_{X (0)} (a) = ⎩ ⎨ ⎧ 0.25, 0.25, 0.25, 0.25, a = 1 a = 2 /2 a = 0 a = - 2 /2

Διάβασε αργά: η $X (0)$ ΔΕΝ είναι ένας αριθμός. Είναι τυχαία μεταβλητή με τέσσερις δυνατές τιμές. Αν επαναλάβεις «παράγωγή ενός $ϕ_{i}$ → υπολόγισε $x_{i} (0)$ » πολλές φορές, θα δεις τις τέσσερις τιμές να εμφανίζονται περίπου εξίσου συχνά.

Και τότε, ο μέσος της ΤΜ $X (0)$ είναι:

E [X (0)] = 1 \cdot 0.25 + \frac{2}{2} \cdot 0.25 + 0 \cdot 0.25 + (- \frac{2}{2}) \cdot 0.25 = 0.25

Στο $X (t_{0})$ για άλλο $t_{0}$ , η PMF αλλάζει (οι τιμές των τεσσάρων δειγμάτων αλλάζουν), και άρα ο μέσος $E [X (t_{0})]$ είναι συνάρτηση του $t_{0}$ . Αυτό ακριβώς είναι το $m_{X} (t)$ που ορίζουμε στο §5.

Το «πείραμα» γίνεται μία φορά — γι' αυτό οι τιμές σε διαφορετικές στιγμές είναι εξαρτημένες

Θυμήσου από την §2β: η τυχαιότητα μπαίνει μία φορά — ένα τράβηγμα του $ϕ$ (το αποτέλεσμα $ω$ του τυχαίου πειράματος). Μόλις τραβηχτεί το $ϕ$ , όλη η realization $x_{i} (t) = cos (2 π t + ϕ)$ είναι καρφωμένη: η τιμή σε κάθε στιγμή βγαίνει από το ίδιο $ϕ$ .

Γι' αυτό τα $X (t_{i})$ και $X (t_{j})$ σε δύο στιγμές δεν είναι ανεξάρτητα — είναι εξαρτημένες ΤΜ. Αν σου πω ότι $X (0) = cos ϕ$ , ξέρω αμέσως ότι $X (1) = cos (2 π + ϕ) = cos ϕ = X (0)$ (ίδια ακριβώς τιμή) και ότι $X (\frac{1}{2}) = cos (π + ϕ) = - cos ϕ = - X (0)$ . Δηλαδή η γνώση του $X (0)$ αλλάζει την κατανομή του $X (1)$ — εδώ μάλιστα την καθορίζει εντελώς — το ακριβώς αντίθετο της ανεξαρτησίας. (Σε λευκό θόρυβο, αντίθετα, θα ήταν ανεξάρτητα. Στο §6 η αυτοσυσχέτιση $R_{X} (t_{i}, t_{j})$ θα μετρήσει τη γραμμική συσχέτιση ανάμεσα στις δύο στιγμές — που δεν είναι το ίδιο με την εξάρτηση: όπως θα δούμε, δύο στιγμές μπορεί να είναι πλήρως εξαρτημένες κι όμως να έχουν $R_{X} = 0$ .)

4. Κατηγορίες ΤΔ — διάγραμμα 2×2

Υπάρχουν τέσσερις κατηγορίες ΤΔ, ανάλογα με το αν ο χρόνος και το πλάτος είναι συνεχή ή διακριτά:

	Πλάτος συνεχές ( $X (t_{i})$ παίρνει συνεχείς τιμές)	Πλάτος διακριτό ( $X (t_{i})$ παίρνει διακριτές τιμές)
Χρόνος συνεχής ( $t \in R$ )	Συνεχής ΤΔ συνεχούς χρόνου (π.χ. θερμικός θόρυβος)	Διακριτή ΤΔ συνεχούς χρόνου (π.χ. ψηφιακό σήμα στη γραμμή μετάδοσης πριν δειγματοληφθεί)
Χρόνος διακριτός ( $t \in Z$ )	Συνεχής ΤΔ διακριτού χρόνου (π.χ. δειγματοληπτημένος θόρυβος)	Διακριτή ΤΔ διακριτού χρόνου (π.χ. ακολουθία bits μετά από slicer)

Στο K21 θα δούμε κυρίως συνεχείς ΤΔ συνεχούς χρόνου — ο θερμικός θόρυβος, τα τυχαία μηνύματα, τα FM/AM σήματα με τυχαία φάση. Οι ορισμοί που ακολουθούν (μέση τιμή, ΣΑΣ) δίνονται για συνεχείς αλλά οι παράλληλοι τύποι για διακριτές υπάρχουν επίσης (αθροίσματα αντί ολοκληρωμάτων — όπως στο διακριτό παράδειγμα του §3 μόλις).

5. Μέση τιμή $m_{X} (t)$

Η μέση τιμή της ΤΔ είναι, και στις δύο μορφές (συνεχή και διακριτή), απλώς ο μέσος $E [X (t)]$ της ΤΜ $X (t)$ :

m_{X} (t) ≜ E [X (t)] = \int_{- \infty}^{\infty} a f_{X (t)} (a) d a (συνεχ \overset{η}{ˊ} ς ΤΔ)

m_{X} (t) ≜ E [X (t)] = i \sum a_{i} Pr [x_{i} (t) = a_{i}] (διακριτ \overset{η}{ˊ} ΤΔ)

Αυτό ΔΕΝ είναι κάτι νέο. Είναι ακριβώς ο μέσος της ΤΜ $X (t)$ (από Random variables §4α). Η μόνη διαφορά: τώρα γράφουμε $m_{X} (t)$ με ρητή εξάρτηση από τον $t$ , επειδή για κάθε $t$ έχουμε διαφορετική ΤΜ (διαφορετική PDF $f_{X (t)}$ → διαφορετικός μέσος).

5α. Πώς το υπολογίζεις μηχανικά

Όταν η εκφώνηση σου δίνει την ΤΔ σε κλειστή φόρμα με τυχαία παράμετρο (π.χ. $X (t) = A cos (2 π f_{0} t + ϕ)$ με $ϕ$ ΤΜ), τρέχει η LOTUS από Random variables §7:

Σε σταθερό $t$ , γράφω $X (t)$ ως συνάρτηση της παραμέτρου τυχαιότητας: $X (t) = g_{t} (ϕ)$ όπου $g_{t} (ϕ) = A cos (2 π f_{0} t + ϕ)$ (το $t$ είναι σταθερά τώρα).
LOTUS: $m_{X} (t) = E [g_{t} (ϕ)] = \int g_{t} (ϕ) f_{ϕ} (ϕ) d ϕ$ πάνω στο support της $ϕ$ .
Ολοκληρώνω. Το αποτέλεσμα εξαρτάται από $t$ (γιατί το $t$ ήταν σταθερά μέσα στο $g_{t}$ , αλλά μεταβλητή για το $m_{X}$ ).

Αυτή είναι όλη η μηχανή. Η §9 ξεδιπλώνει αυτό βήμα-βήμα για την $X (t) = A cos (2 π f_{1} t + ϕ)$ με $ϕ \sim U [0, π]$ — το πλήρες παράδειγμα της εξέτασης.

6. Συνάρτηση Αυτοσυσχέτισης $R_{X} (t_{i}, t_{j})$

Η αυτοσυσχέτιση ορίζεται:

R_{X} (t_{i}, t_{j}) ≜ E [X (t_{i}) X (t_{j})] = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} a b f_{X (t_{i}) X (t_{j})} (a, b) d a d b .

Για πραγματικές ΤΔ είναι συμμετρική: $R_{X} (t_{i}, t_{j}) = R_{X} (t_{j}, t_{i})$ .

Διάβασε: $R_{X} (t_{i}, t_{j})$ είναι ο μέσος του γινομένου των τιμών της ΤΔ σε δύο χρονικές στιγμές. Για να το υπολογίσεις θεωρητικά, χρειάζεσαι τη joint PDF $f_{X (t_{i}) X (t_{j})}$ — αυτή είναι από Random variables §6α.

Πριν προχωρήσουμε — τι είναι πραγματικά τα $X (t_{i}), X (t_{j})$ . Σε σταθερά $t_{i}, t_{j}$ , τα $X (t_{i})$ και $X (t_{j})$ δεν είναι τίποτα παραπάνω από δύο τυχαίες μεταβλητές: οι τιμές του ensemble στις δύο αυτές στιγμές (σε σταθερό χρόνο η ΤΔ είναι ΤΜ — §2β). Άρα όλη η μηχανή των ΤΜ ισχύει αυτούσια· ειδικά, η σχέση $E [X Y] = μ_{X} μ_{Y} + Cov (X, Y)$ της Random variables §6β εδώ γράφεται:

R_{X} (t_{i}, t_{j}) = E [X (t_{i}) X (t_{j})] = γιν \overset{ο}{ˊ} μενο των μ \overset{ε}{ˊ} σων m_{X} (t_{i}) m_{X} (t_{j}) + αυτοσυνδιακ \overset{υ}{ˊ} μανση C_{X} (t_{i}, t_{j}), C_{X} (t_{i}, t_{j}) = E [(X (t_{i}) - m_{X} (t_{i})) (X (t_{j}) - m_{X} (t_{j}))] .

Το $C_{X}$ είναι απλώς το covariance αυτών των δύο ΤΜ — εδώ το λέμε αυτοσυνδιακύμανση και το ορίζουμε επίσημα στην §7 παρακάτω. Για zero-mean ΤΔ ( $m_{X} (t) = 0$ παντού — η τυπική περίπτωση για θόρυβο) το γινόμενο των μέσων εξαφανίζεται και τα δύο ταυτίζονται: $R_{X} (t_{i}, t_{j}) = C_{X} (t_{i}, t_{j})$ . Κράτα αυτή την εικόνα — ό,τι ακολουθεί για το $R_{X}$ είναι η ιστορία του covariance δύο ΤΜ, απλώς σε δύο χρονικές στιγμές.

Γιατί ο μέσος του γινομένου μετράει συσχέτιση

Το διπλό ολοκλήρωμα είναι ένας σταθμισμένος μέσος όλων των γινομένων $ab$ , με βάρος τη joint PDF $f (a, b)$ — μετράει δηλαδή πού συγκεντρώνει τη μάζα της η κατανομή, όχι μεμονωμένα ζεύγη. Χώρισε το επίπεδο $(a, b)$ σε τεταρτημόρια: στο 1ο και 3ο (ίδιο πρόσημο) είναι $ab > 0$ → θετική συνεισφορά· στο 2ο και 4ο (αντίθετο πρόσημο) είναι $ab < 0$ → αρνητική.

Ασυσχέτιστες τιμές δίνουν στρογγυλό, συμμετρικό σύννεφο: ίση μάζα στα θετικά και στα αρνητικά τεταρτημόρια, οι συνεισφορές αλληλοαναιρούνται, $R_{X} \approx 0$ . Συσχετισμένες τιμές μαζεύουν τη μάζα κατά μήκος της διαγωνίου: σχεδόν όλα τα γινόμενα θετικά, μεγάλο $R_{X}$ . Ένα μεμονωμένο μεγάλο γινόμενο δεν αρκεί — αν οι τιμές είναι ασυσχέτιστες, για κάθε realization με γινόμενο $+ c$ υπάρχει εξίσου πιθανή με $- c$ , και το expectation τις σβήνει. Συσχέτιση = συστηματική συμφωνία προσήμων που επιβιώνει στον μέσο όρο.

Κανονικοποίηση — γιατί το «μεγάλο» είναι πάντα σχετικό: το $R_{X}$ ανακατεύει δύο πράγματα — πόσο ευθυγραμμισμένα (ίδιο πρόσημο) είναι τα δύο σημεία, αλλά και πόσο μεγάλα είναι. Διπλασίασε το πλάτος του σήματος και το $R_{X}$ τετραπλασιάζεται, χωρίς να έχει αλλάξει καθόλου η δομή της συσχέτισης· άρα ένα μεγάλο $R_{X}$ μπορεί να σημαίνει είτε ισχυρή συσχέτιση είτε απλώς μεγάλη ισχύ — δεν ξεχωρίζεις ποιο από τα δύο.

Για να απομονώσουμε μόνο τη συσχέτιση, παίρνουμε αυτό ακριβώς το κομμάτι της συν-κίνησης — το $C_{X} (t_{i}, t_{j})$ από πάνω — και το διαιρούμε με το μέγεθος κάθε σημείου, την τυπική απόκλιση $σ$ . Αυτός είναι ο κανονικοποιημένος συντελεστής συσχέτισης:

ρ = \frac{C _{X} ( t _{i} , t _{j} )}{σ _{t_{i}} σ _{t_{j}}} \in [- 1, 1] .

Γιατί δουλεύει η διαίρεση: το $σ$ κάθε σημείου είναι το «μέτρο» του — πόσο μεγάλες είναι τυπικά οι αποκλίσεις του. Μετρώντας το $C_{X}$ σε μονάδες αυτών των δύο μεγεθών, σβήνεις το πόσο μεγάλα είναι τα σήματα: αν διπλασιάσεις το πλάτος, ο αριθμητής $C_{X}$ τετραπλασιάζεται — αλλά τετραπλασιάζεται και ο παρονομαστής $σ_{t_{i}} σ_{t_{j}}$ , κι έτσι αλληλοαναιρούνται. Μένει μόνο το πόσο ευθυγραμμισμένα κινούνται οι δύο τιμές, καθαρός αριθμός στο $[- 1, 1]$ ανεξάρτητος από κλίμακα.

Είναι ακριβώς το ίδιο μέτρο με το scatter της Random variables — γι' αυτό το διαδραστικό παρακάτω μιλάει για covariance.

Για zero-mean ΤΔ είδαμε πιο πάνω ότι $C_{X} = R_{X}$ · επιπλέον $σ_{t_{i}} = E [X^{2} (t_{i})] = R_{X} (t_{i}, t_{i})$ , οπότε ο τύπος γράφεται καθαρά με την $R_{X}$ :

ρ = \frac{R _{X} ( t _{i} , t _{j} )}{R _{X} ( t _{i} , t _{i} ) R _{X} ( t _{j} , t _{j} )} .

Ο παρονομαστής εδώ είναι η μέγιστη τιμή που μπορεί να πιάσει το $∣ R_{X} (t_{i}, t_{j}) ∣$ (δύο σημεία δεν «συμφωνούν» ποτέ περισσότερο απ' όσο συμφωνεί το καθένα με τον εαυτό του — ανισότητα Cauchy–Schwarz). Γι' αυτό όταν παρακάτω λέμε «μεγάλο $R_{X}$ », εννοούμε μεγάλο σε σχέση μ' αυτό το ταβάνι, όχι σαν απόλυτο νούμερο.

Γραμμική σχέση & covariance — δες πώς το ρ «βλέπει» ευθείες

ρ (συντελεστής συσχέτισης) = 0.70

ρ (από τα σημεία)

0.70

Cov πρόσημο

> 0 (ανηφορικά)

Σχέση;

γραμμική τάση

Κάθε σημείο είναι ένα ζεύγος (X, Y). Χρώμα = πρόσημο του (X−x̄)(Y−ȳ): πράσινο όταν τα δύο είναι μαζί πάνω/κάτω από τους μέσους τους (συμφωνούν), κόκκινο όταν διαφωνούν. Το Cov είναι ο μέσος όρος αυτών των γινομένων. Σύρε το ρ: στο ±1 όλα πέφτουν πάνω στην ευθεία· στο 0 πράσινα και κόκκινα ισορροπούν και η ευθεία τάση χάνεται.

Σύρε το $ρ$ και δες ακριβώς αυτή την εικόνα: εδώ τα δύο μεγέθη είναι $a = X (t_{i})$ και $b = X (t_{j})$ (zero-mean, οπότε $R_{X} = E [ab]$ ταυτίζεται με το covariance). Στο $ρ \approx 0$ το σύννεφο είναι στρογγυλό και οι θετικές/αρνητικές συνεισφορές ισορροπούν → $R_{X} \approx 0$ · στο $ρ \to \pm 1$ η μάζα μαζεύεται στη διαγώνιο και σχεδόν όλα τα γινόμενα έχουν το ίδιο πρόσημο. Είναι το ίδιο scatter που είδες για δύο ΤΜ στη Random variables — τώρα τα δύο μεγέθη είναι η ίδια ΤΔ σε δύο χρόνους.

6α. Διαισθητικά — τι μετράει η $R_{X}$

Η $R_{X} (t_{i}, t_{j})$ μετράει πόσο συσχετισμένες είναι οι τιμές της ΤΔ σε δύο χρονικές στιγμές:

Κράτησε το $t_{i}$ σταθερό και απομάκρυνε σταδιακά το $t_{j}$ . Στο $t_{j} = t_{i}$ η $R_{X}$ πιάνει τη μέγιστη τιμή της, $R_{X} (t_{i}, t_{i})$ . Αν η $R_{X}$ πέφτει αργά καθώς το $t_{j}$ απομακρύνεται — δηλαδή χρειάζεται μεγάλη απόσταση $∣ t_{i} - t_{j} ∣$ για να πλησιάσει το μηδέν — η ΤΔ είναι «αργή»: η τιμή στη στιγμή $t_{i}$ δεν έχει προλάβει να αλλάξει πολύ μέχρι το $t_{j}$ . Παράδειγμα: lowpass-filtered θόρυβος.
Όταν $R_{X}$ πέφτει γρήγορα στο μηδέν καθώς $∣ t_{i} - t_{j} ∣$ αυξάνει, η ΤΔ είναι «γρήγορη» — οι τιμές αλλάζουν απότομα. Παράδειγμα: λευκός θόρυβος (πρόκειται να δούμε ότι η $R_{X}$ είναι $δ$ -συνάρτηση).
Στο σημείο $t_{i} = t_{j} = t$ : $R_{X} (t, t) = E [X^{2} (t)]$ — η μέση τετραγωνική τιμή, δηλαδή η μέση ισχύς στη στιγμή $t$ . Για zero-mean ΤΔ ταυτίζεται επιπλέον με τη διασπορά $Var [X (t)]$ .

Το διαδραστικό «Τι μετράει η $R_{X} (t_{i}, t_{j})$ » πιο κάτω κάνει αυτούς τους τρεις κανόνες χειροπιαστούς. Σύρε τα $t_{i}$ και $t_{j}$ και κοίτα το «σύννεφο» των ζευγών $(X (t_{i}), X (t_{j}))$ από όλο το ensemble: κοντά → στενή διαγώνιος και μεγάλη $R_{X}$ · μακριά → στρογγυλό σύννεφο και $R_{X} \to 0$ · ίδια στιγμή → η διαγώνιος γίνεται ευθεία γραμμή και $R_{X} (t, t) = E [X^{2} (t)]$ , η μέση ισχύς.

Τι μετράει η R_X(t_i, t_j) — συσχέτιση δύο χρονικών στιγμών

t_i (μπλε) = 1.00 s

t_j (πορτοκαλί) = 1.20 s

Συνεισφορές στο R_X (γινόμενα ab)net ≈ 0.37

θετικά (ab>0) +0.39αρνητικά (ab<0) −0.02

R_X(t_i, t_j) ≈

0.37

ρ (−1…1)

0.78

Δt = |t_i − t_j|

0.20 s

ισχυρά συσχετισμένα

Κάθε σημείο κάτω είναι ένα ζεύγος (X(t_i), X(t_j)) από ένα δείγμα του ensemble — ακριβώς όπως το scatter δύο ΤΜ στη σελίδα Random variables, μόνο που τώρα οι δύο ΤΜ είναι η ίδια διαδικασία σε δύο χρόνους. Χρώμα = πρόσημο του γινομένου X(t_i)·X(t_j): πράσινο σπρώχνει την R_X προς τα πάνω, κόκκινο προς τα κάτω. Η R_X(t_i, t_j) είναι ο μέσος όρος αυτών των γινομένων. Φέρε τα t_i, t_j κοντά → στενή διαγώνιος, μεγάλη R_X· απομάκρυνέ τα → η νέφη στρογγυλεύει και η R_X πέφτει στο μηδέν.

Τι είναι WSS — και γιατί κρατάμε ακόμα τη μορφή δύο χρόνων

Εδώ η αυτοσυσχέτιση είναι συνάρτηση δύο μεταβλητών: εξαρτάται ξεχωριστά από τις δύο στιγμές $t_{i}$ και $t_{j}$ (γι' αυτό κουνάς δύο sliders παραπάνω). Υπάρχει όμως μια ειδική —αλλά πολύ συνηθισμένη— κατηγορία ΤΔ, οι WSS (wide-sense stationary, «ασθενώς στάσιμες»), που ικανοποιούν δύο συνθήκες: (1) ο μέσος $m_{X} (t)$ είναι σταθερός στον χρόνο, και (2) η $R_{X}$ εξαρτάται μόνο από τη διαφορά $τ = t_{i} - t_{j}$ (όχι από τις δύο στιγμές χωριστά). Τότε γράφουμε πιο σύντομα $R_{X} (τ)$ , όπου το $τ$ είναι απλώς η χρονική απόσταση ανάμεσα στις δύο στιγμές. Η cos με τυχαία φάση ομοιόμορφη σε ολόκληρη περίοδο ( $Θ \sim U [0, 2 π)$ — το σήμα στο preset «τυχαία φάση» του διαδραστικού από πάνω) είναι μια τέτοια WSS ΤΔ· τη βλέπεις υπολογισμένη στο παράδειγμα §6β αμέσως πιο κάτω. Μια διευκρίνιση για το διαδραστικό: η γραμμή $m_{X} (t)$ εκεί δεν βγαίνει τελείως επίπεδη — τρεμοπαίζει λίγο γύρω από το $0$ , επειδή ο μέσος όρος υπολογίζεται πάνω σε λίγες μόνο realizations (πάτα «Νέα δειγματοληψία» και το τρεμόπαιγμα αλλάζει σχήμα — σημάδι ότι είναι θόρυβος δειγματοληψίας, όχι ιδιότητα της ΤΔ). Ο πραγματικός μέσος, στο όριο των άπειρων φάσεων, είναι ακριβώς $0$ για κάθε $t$ — σταθερός, όπως απαιτεί η συνθήκη (1). Όμως αυτό κρέμεται από το support της φάσης: η ίδια cos αλλά με $ϕ \sim U [0, π]$ (η Άσκηση 1 της §9 παρακάτω) έχει μέσο $m_{X} (t)$ που εξαρτάται από τον χρόνο, άρα ικανοποιεί μόνο τη συνθήκη (2) κι όχι την (1) — δεν είναι WSS. Δηλαδή το «τυχαία φάση» από μόνο του δεν αρκεί· το support κρίνει. (Τον πλήρη ορισμό, με αυστηρά παραδείγματα, τον δουλεύουμε στην επόμενη σελίδα.) Όσο μια ΤΔ δεν είναι WSS, μένουμε στη γενική μορφή $R_{X} (t_{i}, t_{j})$ · και η PSD $S_{X} (f)$ , που γεννιέται από την $R_{X} (τ)$ , έρχεται δύο σελίδες πιο κάτω στο /randomness/psd.

Σχέση με την αυτοσυσχέτιση σημάτων

Την «αυτοσυσχέτιση» την έχεις ξαναδεί — αλλά για ένα ντετερμινιστικό σήμα:

R_{x} (τ) = \int_{- \infty}^{\infty} x (t) x^{*} (t - τ) d t vs R_{X} (t_{i}, t_{j}) = E [X (t_{i}) X (t_{j})] .

Ίδια ιδέα — γινόμενο δύο αντιγράφων σε χρονική απόσταση, μετά average — με διαφορετικό μέσο όρο: η πρώτη πάνω στον χρόνο (ένα σήμα), η δεύτερη πάνω στο ensemble (δύο σταθερές στιγμές). Γι' αυτό συμπεριφέρονται παρόμοια — π.χ. και οι δύο κορυφώνονται στο μηδενικό lag, εκεί που τα δύο αντίγραφα ταυτίζονται.

Η γέφυρα (αναλυτικά στη στασιμότητα & εργοδικότητα): για στάσιμη ΤΔ το $R_{X}$ εξαρτάται μόνο από το $τ$ , και για εργοδική ΤΔ ο χρονικός μέσος μίας μόνο realization, $lim_{T \to \infty} \frac{1}{2 T} \int_{- T}^{T} x (t) x (t - τ) d t$ , συμπίπτει με το ensemble $R_{X} (τ)$ . Ο παράγοντας $1/2 T$ μπαίνει επειδή οι realizations είναι power signals, όχι energy signals — αντίθετα με τη ΣΑΣ ενέργειας §10e. Για τον ίδιο λόγο ο Fourier της $R_{X} (τ)$ δεν δίνει $∣ X (f) ∣^{2}$ (αυτό ισχύει για energy signal) αλλά την PSD $S_{X} (f)$ , τη φασματική πυκνότητα ισχύος — που τη χτίζουμε στην /randomness/psd.

6β. Παράδειγμα — $R_{X}$ της cos με τυχαία φάση

Ας το κάνουμε συγκεκριμένο με την πιο κοινή ΤΔ των επικοινωνιών, το carrier με τυχαία φάση:

X (t) = A cos (2 π f_{0} t + Θ), Θ \sim U [0, 2 π) .

Γιατί τα $X (t_{i}), X (t_{j})$ είναι εξαρτημένα. Και τα δύο είναι συναρτήσεις του ίδιου $Θ$ (το ένα τράβηγμα της §2β):

X (t_{i}) = A cos (2 π f_{0} t_{i} + Θ), X (t_{j}) = A cos (2 π f_{0} t_{j} + Θ) .

Μόλις τραβηχτεί το $Θ$ , καθορίζονται και τα δύο — άρα δεν είναι ανεξάρτητα. Τα ζεύγη $(X (t_{i}), X (t_{j}))$ μάλιστα πέφτουν πάνω σε μια έλλειψη (ακριβώς το preset «cos με τυχαία φάση» του διαδραστικού): η joint PDF $f_{X (t_{i}) X (t_{j})} (a, b)$ δεν είναι ένα ομαλό 2D σύννεφο — όλη η πιθανοτική μάζα κάθεται πάνω σε αυτή την καμπύλη (είναι «εκφυλισμένη»).

Πώς υπολογίζουμε το $R_{X}$ . Ο ορισμός είναι $R_{X} (t_{i}, t_{j}) = \iint a b f_{X (t_{i}) X (t_{j})} (a, b) d a d b$ — αλλά αυτή η εκφυλισμένη joint PDF είναι δύσχρηστη. Επειδή και τα δύο μεγέθη είναι συναρτήσεις του ενός $Θ$ , δουλεύουμε κατευθείαν πάνω στο $Θ$ (LOTUS, Random variables §7) και γλιτώνουμε εντελώς τη joint PDF:

R_{X} (t_{i}, t_{j}) = E [A cos (2 π f_{0} t_{i} + Θ) A cos (2 π f_{0} t_{j} + Θ)] = \int_{0}^{2 π} A^{2} cos (2 π f_{0} t_{i} + θ) cos (2 π f_{0} t_{j} + θ) \frac{d θ}{2 π} .

Με product-to-sum ( $cos a cos b = \frac{1}{2} [cos (a - b) + cos (a + b)]$ ): το $a - b = 2 π f_{0} (t_{i} - t_{j})$ δεν έχει $Θ$ (φεύγει), ενώ το $a + b = 2 π f_{0} (t_{i} + t_{j}) + 2Θ$ έχει $2Θ$ που διατρέχει ολόκληρες περιόδους, οπότε ο μέσος του μηδενίζεται:

R_{X} (t_{i}, t_{j}) = \frac{A ^{2}}{2} cos (2 π f_{0} (t_{i} - t_{j})) = \frac{A ^{2}}{2} cos (2 π f_{0} τ)

Τι μας λέει. Το $R_{X}$ βγήκε συνάρτηση μόνο της διαφοράς $τ = t_{i} - t_{j}$ — αυτή είναι η δεύτερη συνθήκη WSS· ο μέσος εδώ είναι επίσης σταθερός ( $m_{X} = 0$ , αφού ο μέσος ενός cosine με ομοιόμορφη φάση σε πλήρη περίοδο είναι 0), οπότε ικανοποιούνται και οι δύο συνθήκες και η random-phase cosine είναι WSS, όπως υποσχεθήκαμε. Και ταλαντώνεται: μέγιστο $A^{2} /2$ στο $τ = 0$ , αλλά μηδέν στο τέταρτο της περιόδου — εκεί όπου οι δύο (εξαρτημένες!) τιμές γίνονται ασυσχέτιστες, η έλλειψη γίνεται κύκλος. Ξαναβλέπουμε δηλαδή ότι «εξαρτημένες» δεν σημαίνει «συσχετισμένες».

Την πλήρη εκδοχή της εξέτασης — με $ϕ \sim U [0, π]$ που σπάει το WSS, και με δεύτερη ΤΔ για ετεροσυσχέτιση — τη λύνουμε αναλυτικά στην §9.

7. Αυτοσυνδιακύμανση $C_{X} (t_{i}, t_{j})$ — και γιατί τη χρειαζόμαστε

Στο §6 είδαμε ότι η αυτοσυσχέτιση σπάει σε δύο κομμάτια, $R_{X} (t_{i}, t_{j}) = m_{X} (t_{i}) m_{X} (t_{j}) + C_{X} (t_{i}, t_{j})$ . Το δεύτερο κομμάτι έχει δικό του όνομα — αυτοσυνδιακύμανση — και είναι ακριβώς το covariance δύο ΤΜ (Random variables §6γ), εφαρμοσμένο στις $X (t_{i}), X (t_{j})$ :

C_{X} (t_{i}, t_{j}) ≜ E [(X (t_{i}) - m_{X} (t_{i})) (X (t_{j}) - m_{X} (t_{j}))] = R_{X} (t_{i}, t_{j}) - m_{X} (t_{i}) m_{X} (t_{j}) .

Τι κάνει που η $R_{X}$ δεν κάνει. Η $R_{X}$ ανακατεύει δύο πράγματα: το γινόμενο των μέσων $m_{X} (t_{i}) m_{X} (t_{j})$ (ένα ντετερμινιστικό «DC» κομμάτι) και το πόσο οι τυχαίες αποκλίσεις γύρω από τον μέσο κινούνται μαζί. Η $C_{X}$ αφαιρεί το πρώτο και κρατάει μόνο το δεύτερο — απαντάει δηλαδή στην καθαρή ερώτηση «συν-κινούνται οι αποκλίσεις από τον μέσο;», χωρίς να τη φουσκώνει το DC.

Γιατί έχει σημασία — ένα παράδειγμα. Πάρε ένα σήμα με σταθερό DC συν θόρυβο, $X (t) = c + N (t)$ , όπου $N$ zero-mean θόρυβος ( $E [N (t)] = 0$ για κάθε $t$ , και $R_{N} (t_{i}, t_{j}) = E [N (t_{i}) N (t_{j})]$ ).

Ο μέσος είναι $m_{X} (t) = E [c + N (t)] = c + = 0 E [N (t)] = c$ . Για την $R_{X}$ , ανοίγουμε το γινόμενο και χρησιμοποιούμε linearity του $E$ (το $c$ είναι σταθερά) μαζί με $E [N] = 0$ :

R_{X} (t_{i}, t_{j}) = E [(c + N (t_{i})) (c + N (t_{j}))] = E [c^{2} + c N (t_{i}) + c N (t_{j}) + N (t_{i}) N (t_{j})] = c^{2} + c = 0 E [N (t_{i})] + c = 0 E [N (t_{j})] + = R_{N} (t_{i}, t_{j}) E [N (t_{i}) N (t_{j})] = c^{2} + R_{N} (t_{i}, t_{j}) .

Και η αυτοσυνδιακύμανση αφαιρεί ακριβώς το $m_{X} (t_{i}) m_{X} (t_{j}) = c \cdot c = c^{2}$ :

C_{X} (t_{i}, t_{j}) = R_{X} (t_{i}, t_{j}) - c^{2} = R_{N} (t_{i}, t_{j}) .

Η $R_{X}$ κυριαρχείται από το $c^{2}$ — ένα μεγάλο σταθερό νούμερο που δεν λέει τίποτα για τη συσχέτιση του θορύβου. Η $C_{X}$ πετάει το $c^{2}$ και σου δίνει καθαρά τη συσχέτιση του τυχαίου κομματιού $N$ . Γι' αυτό, μόλις υπάρχει μέσος (DC offset, AM carrier + μήνυμα, μια τάση), η $C_{X}$ είναι το «σωστό» μέτρο της τυχαίας συσχέτισης.

Στη διαγώνιο: $C_{X} (t, t) = Var (X (t))$ — η διασπορά στη στιγμή $t$ (ενώ $R_{X} (t, t) = E [X^{2} (t)]$ ήταν η ισχύς). Διαφέρουν ακριβώς κατά $m_{X}^{2} (t)$ .

Πότε ταυτίζονται. Όταν ο μέσος είναι 0 σε όλους τους χρόνους — η συνήθης περίπτωση για θόρυβο — δεν υπάρχει DC να αφαιρέσεις: $C_{X} \equiv R_{X}$ . Γι' αυτό στον (zero-mean) θόρυβο δουλεύουμε συνήθως κατευθείαν με την $R_{X}$ · τη διάκριση τη χρειάζεσαι μόλις εμφανιστεί μη-μηδενικός μέσος (όπως στην Άσκηση 3 της στασιμότητας, όπου $R_{X} (τ) = m_{X}^{2} + R_{N} (τ)$ ).

8. Ετεροσυσχέτιση και ετεροσυνδιακύμανση

Για δύο διαφορετικές ΤΔ $X (t)$ και $Y (t)$ :

Η ετεροσυσχέτιση ορίζεται:

R_{X, Y} (t_{1}, t_{2}) ≜ E [X (t_{1}) Y (t_{2})], R_{Y, X} (t_{1}, t_{2}) ≜ E [Y (t_{1}) X (t_{2})] .

Πρόσεξε τη σειρά: ο πρώτος δείκτης είναι το όρισμα του πρώτου χρόνου.

Και η ετεροσυνδιακύμανση:

C_{X, Y} (t_{1}, t_{2}) ≜ R_{X, Y} (t_{1}, t_{2}) - m_{X} (t_{1}) m_{Y} (t_{2})

8α. Ορθογώνιες vs ασυσχέτιστες ΤΔ — η ακριβής διάκριση

Υπάρχουν δύο διαφορετικοί ορισμοί που μπερδεύονται συνεχώς στις εξετάσεις:

Σχέση	Ορισμός	Τι σημαίνει
Ορθογώνιες (orthogonal) $X, Y$	$R_{X, Y} (t_{1}, t_{2}) = 0, \forall t_{1}, t_{2}$	Ο μέσος του γινομένου είναι μηδέν
Ασυσχέτιστες (uncorrelated) $X, Y$	$C_{X, Y} (t_{1}, t_{2}) = 0, \forall t_{1}, t_{2}$	Η συσχέτιση πάνω από τους μέσους είναι μηδέν

Από τη σχέση $C_{X, Y} = R_{X, Y} - m_{X} m_{Y}$ :

Ορθογ \overset{ω}{ˊ} νιες \Leftrightarrow R_{X, Y} = 0 αλλ \overset{α}{ˊ} Ασυσχ \overset{ε}{ˊ} τιστες \Leftrightarrow R_{X, Y} = m_{X} (t_{1}) m_{Y} (t_{2})

Αν και οι δύο έχουν μηδενικό μέσο, οι δύο έννοιες ταυτίζονται. Σε ΤΔ με μη-μηδενικό μέσο, ξεχωρίζουν:

Δύο ΤΔ θορύβου (zero-mean) που είναι ανεξάρτητες → και ορθογώνιες και ασυσχέτιστες.
Δύο ΤΔ με μη-μηδενικό μέσο που είναι ανεξάρτητες → μόνο ασυσχέτιστες· όχι ορθογώνιες (το $R_{X, Y} = m_{X} m_{Y} \neq = 0$ ).

Η §9 παρακάτω σου δίνει ένα παράδειγμα του δεύτερου τύπου — η Άσκηση 1 παράγει ΤΔ με μη-μηδενικούς μέσους που αποδεικνύονται ασυσχέτιστες αλλά όχι ορθογώνιες.

Ορθογώνιες vs ασυσχέτιστες — η συγκεκριμένη παγίδα

Λέξεις-κλειδιά

Ορθογώνιες: R_{X,Y} = 0
Ασυσχέτιστες: C_{X,Y} = 0
Zero-mean → οι δύο έννοιες ταυτίζονται
Με μέσο → ξεχωρίζουν, R_{X,Y} = m_X m_Y
Ανεξάρτητες ⇒ ασυσχέτιστες (πάντα)

Βήματα

Πρώτα υπολόγισε m_X(t) και m_Y(t). Αν 0, τα δύο concepts ταυτίζονται — δεν χρειάζεται να τα ξεχωρίσεις.
Αν δοθούν ανεξάρτητες ΤΜ-παράμετροι, τότε R_{X,Y} = E[X]E[Y] = m_X m_Y → C_{X,Y} = 0 αυτόματα (ασυσχέτιστες).
Έλεγξε αν επιπλέον είναι ορθογώνιες: R_{X,Y} = 0; μόνο αν m_X = 0 ή m_Y = 0.

Η συχνότερη παγίδα

Στην εξέταση, αν η εκφώνηση γράφει «ανεξάρτητες», μην γράψεις αυτόματα «άρα ορθογώνιες». Είναι ασυσχέτιστες (αυτό συνεπάγεται αμέσως). Ορθογώνιες είναι επιπλέον συνθήκη — χρειάζεται έλεγχος μέσων.

9. Άσκηση 1 (πλήρης)

Αυτό είναι το κεντρικό παράδειγμα του κεφαλαίου — ασκεί ολόκληρη τη μηχανή που μόλις χτίσαμε.

(α) Μέσος $m_{X} (t)$ .

Σε σταθερό $t$ , η $X (t) = A cos (2 π f_{1} t + ϕ)$ είναι συνάρτηση μόνο της $ϕ$ . LOTUS:

m_{X} (t) = E [A cos (2 π f_{1} t + ϕ)] = \int_{0}^{π} A cos (2 π f_{1} t + ϕ) \frac{1}{π} d ϕ = \frac{A}{π} \int_{0}^{π} cos (2 π f_{1} t + ϕ) d ϕ

Παρατηρούμε ότι $\frac{d}{d ϕ} sin (2 π f_{1} t + ϕ) = cos (2 π f_{1} t + ϕ)$ :

m_{X} (t) = \frac{A}{π} [sin (2 π f_{1} t + ϕ)]_{0}^{π} = \frac{A}{π} [sin (2 π f_{1} t + π) - sin (2 π f_{1} t)]

Με $sin (x + π) = - sin (x)$ :

m_{X} (t) = \frac{A}{π} [- sin (2 π f_{1} t) - sin (2 π f_{1} t)] = - \frac{2 A}{π} sin (2 π f_{1} t)

m_{X} (t) = - \frac{2 A}{π} sin (2 π f_{1} t)

Διάβασε: ο μέσος δεν είναι μηδέν και εξαρτάται από τον $t$ . Δεν είναι WSS.

(β) Μέσος $m_{Y} (t)$ .

Σε σταθερό $t$ , η $Y (t) = α cos (2 π f_{2} t)$ είναι γραμμική στην $α$ . Δεν χρειάζεται LOTUS με ολοκλήρωμα — από την linearity του $E$ (Random variables §4γ):

m_{Y} (t) = E [α cos (2 π f_{2} t)] = cos (2 π f_{2} t) E [α]

Με $α \sim U [0, 2]$ : $E [α] = (0 + 2) /2 = 1$ , άρα:

m_{Y} (t) = cos (2 π f_{2} t)

Διάβασε: πάλι δεν είναι σταθερό στον χρόνο — όχι WSS.

(γ) Αυτοσυσχέτιση $R_{X} (t_{1}, t_{2})$ .

R_{X} (t_{1}, t_{2}) = E [A cos (2 π f_{1} t_{1} + ϕ) A cos (2 π f_{1} t_{2} + ϕ)] = A^{2} E [cos (2 π f_{1} t_{1} + ϕ) cos (2 π f_{1} t_{2} + ϕ)]

Χρησιμοποιούμε product-to-sum (typology): $cos a cos b = \frac{1}{2} [cos (a - b) + cos (a + b)]$ :

= \frac{A ^{2}}{2} E [cos (2 π f_{1} (t_{1} + t_{2}) + 2 ϕ) + cos (2 π f_{1} (t_{1} - t_{2}))]

Παίρνοντας expectation όρο-προς-όρο:

Ο δεύτερος όρος $cos (2 π f_{1} (t_{1} - t_{2}))$ δεν περιέχει $ϕ$ — μένει ως έχει.
Ο πρώτος όρος περιέχει $2 ϕ$ . Επειδή $ϕ \in [0, π]$ , το $2 ϕ \in [0, 2 π]$ — ολόκληρη περίοδο του cosine! Άρα $E [cos (2 π f_{1} (t_{1} + t_{2}) + 2 ϕ)] = 0$ (μέσος cos πάνω σε ολόκληρη περίοδο = 0).

R_{X} (t_{1}, t_{2}) = \frac{A ^{2}}{2} cos (2 π f_{1} (t_{1} - t_{2}))

Διάβασε: η αυτοσυσχέτιση εξαρτάται μόνο από τη διαφορά $τ = t_{1} - t_{2}$ . Αυτό είναι «WSS στην αυτοσυσχέτιση» — η δεύτερη από τις δύο συνθήκες WSS (την ορίσαμε στο §6β). Αλλά επειδή ο μέσος $m_{X} (t)$ από το (α) εξαρτάται από $t$ , η ΤΔ συνολικά δεν είναι WSS.

(δ) Ετεροσυσχέτιση $R_{X, Y} (t_{1}, t_{2})$ .

R_{X, Y} (t_{1}, t_{2}) = E [X (t_{1}) Y (t_{2})] = E [A cos (2 π f_{1} t_{1} + ϕ) α cos (2 π f_{2} t_{2})]

Trick: η $α$ και η $ϕ$ είναι ανεξάρτητες. Άρα ο μέσος του γινομένου = γινόμενο των μέσων (Random variables §6β — independence factorisation):

R_{X, Y} (t_{1}, t_{2}) = E [A cos (2 π f_{1} t_{1} + ϕ)] E [α cos (2 π f_{2} t_{2})] = m_{X} (t_{1}) m_{Y} (t_{2})

Αντικαθιστώντας από (α) και (β):

R_{X, Y} (t_{1}, t_{2}) = - \frac{2 A}{π} sin (2 π f_{1} t_{1}) cos (2 π f_{2} t_{2})

Σημαντικό: $R_{X, Y} \neq = 0$ — άρα οι $X, Y$ είναι όχι ορθογώνιες.

(ε) Ετεροσυνδιακύμανση $C_{X, Y} (t_{1}, t_{2})$ .

Από τον ορισμό:

C_{X, Y} (t_{1}, t_{2}) = R_{X, Y} (t_{1}, t_{2}) - m_{X} (t_{1}) m_{Y} (t_{2}) = m_{X} (t_{1}) m_{Y} (t_{2}) - m_{X} (t_{1}) m_{Y} (t_{2}) = 0

C_{X, Y} (t_{1}, t_{2}) = 0, \forall t_{1}, t_{2}

Διάβασε: οι $X, Y$ είναι ασυσχέτιστες (όπως αναμενόταν, αφού οι ΤΜ-παράμετροι $ϕ, α$ είναι ανεξάρτητες). Αλλά όχι ορθογώνιες (γιατί έχουν μη-μηδενικούς μέσους).

Σύνοψη Άσκησης 1:

Ποσότητα	Αποτέλεσμα
$m_{X} (t)$	$- \frac{2 A}{π} sin (2 π f_{1} t)$ — εξαρτάται από $t$ → ΟΧΙ WSS
$m_{Y} (t)$	$cos (2 π f_{2} t)$ — εξαρτάται από $t$ → ΟΧΙ WSS
$R_{X} (t_{1}, t_{2})$	$\frac{A ^{2}}{2} cos (2 π f_{1} (t_{1} - t_{2}))$ — μόνο διαφορά (μερική WSS)
$R_{X, Y} (t_{1}, t_{2})$	$m_{X} (t_{1}) m_{Y} (t_{2})$ — όχι μηδέν → όχι ορθογώνιες
$C_{X, Y} (t_{1}, t_{2})$	$0$ → ασυσχέτιστες

Take-away — γιατί αυτή η άσκηση είναι όλο το κεφάλαιο: σε 5 βήματα ξανα-είδες ολόκληρη τη μηχανή: LOTUS με τυχαία φάση, linearity με τυχαίο πλάτος, product-to-sum για ΣΑΣ, independence-factorisation για ετεροσυσχέτιση, ορισμός για ετεροσυνδιακύμανση. Καμία νέα μαθηματική τεχνική — όλα από τη σελίδα Random variables.

X(t) = A cos(2π f₀ t + φ), φ ∈ {0, π/4, π/2, 3π/4} — realizations & time-slice

Πάνω (σήμα στον χρόνο): οι 4 realizations — οι 4 σταθερές φάσεις, καθεμία ένα ντετερμινιστικό cosine. Κάθε γραμμή διαβάζεται οριζόντια = μία καταγραφή. Σύρε την κάθετη «time-slice»: σε κάθε στιγμή t, οι 4 realizations δίνουν 4 τιμές — αυτές μαζί είναι η τυχαία μεταβλητή X(t).
Κάτω — προσοχή, νέου τύπου διάγραμμα: δεν είναι σήμα στον χρόνο. Ο οριζόντιος άξονας είναι οι πιθανές τιμές του X(t) (από −A έως +A) και το ύψος κάθε στύλου είναι η πιθανότητα εκείνης της τιμής. Εδώ 4 τιμές, καθεμία με πιθανότητα ¼. Αυτό λέγεται κατανομή (distribution): πώς μοιράζεται η πιθανότητα στις δυνατές τιμές. Άλλη στιγμή ⇒ άλλες τιμές — αλλά πάντα μια τυχαία μεταβλητή.

Time-slice t = 0.00 s— οι 4 τιμές X(t): 1.00, 0.71, 0.00, -0.71

Αυτό το viz δείχνει 4 realizations $x_{i} (t) = A cos (2 π f_{1} t + ϕ_{i})$ για $ϕ_{i} \in {0, π /4, π /2, 3 π /4}$ — δηλαδή ένα δείγμα 4 σημείων του support $[0, π]$ της Άσκησης 1.

Διάβασε το viz με δύο τρόπους:

Σταθερό $t$ (κάθετη τομή): βλέπεις 4 τιμές — αυτές είναι η ΤΜ $X (t_{0})$ . Για $ϕ \sim U [0, π]$ είναι ομοιόμορφα κατανεμημένες στο διάστημα — όχι όμως συμμετρικά γύρω από το 0 (γι' αυτό ο μέσος δεν μηδενίζεται).
Σταθερό $ϕ_{i}$ (μία ολόκληρη γραμμή): είναι ένα δείγμα $x_{i} (t)$ . Ντετερμινιστικός, με τη συγκεκριμένη φάση.

Το ensemble (όλες οι γραμμές) σε κάθε $t$ μας δίνει $m_{X} (t)$ και $R_{X}$ . Σε αυτό το viz βλέπεις μόνο 4 δείγματα του συνόλου — η πραγματική ΤΔ έχει άπειρα δείγματα (ένα για κάθε $ϕ \in [0, π]$ ).

10. Παράλληλο παράδειγμα — random-phase cosine με $ϕ \sim U [0, 2 π)$ (η WSS-edition)

Αν αλλάξουμε το support από $[0, π]$ σε $[0, 2 π)$ (ολόκληρη περίοδος), όλα αλλάζουν. Είναι το ίδιο ακριβώς ολοκλήρωμα της §9(α) αλλά με τα όρια 0 έως $2 π$ και κανονικοποίηση $1/ (2 π)$ :

Διάβασε αργά: η διαφορά υπάρχει μόνο στο support της uniform $ϕ$ . Με $U [0, 2 π)$ ο μέσος μηδενίζεται και η ΤΔ είναι WSS. Με $U [0, π]$ ο μέσος εξαρτάται από $t$ και δεν είναι WSS. Στην εξέταση: πρόσεξε πάντα το support — είναι ο πιο εύκολος τρόπος να χάσεις την λύση.

11. Ιδιότητες της $R_{X}$ (όταν είναι WSS — $R_{X} = R_{X} (τ)$ )

Όταν η ΤΔ είναι WSS, το $R_{X} (t_{1}, t_{2})$ απλοποιείται σε $R_{X} (τ)$ με $τ = t_{1} - t_{2}$ . Τότε ισχύουν:

Ιδιότητα	Τύπος	Τι σημαίνει
Τιμή στο 0 = μέση τετραγωνική	$R_{X} (0) = E [X^{2} (t)] = P_{X}$ (για zero-mean: ισχύς)	Η συσχέτιση κορυφώνεται στο $τ = 0$
Άρτια	$R_{X} (τ) = R_{X} (- τ)$	Άμεση συνέπεια της συμμετρίας
Maximum στο 0	$∣ R_{X} (τ)∣ \leq R_{X} (0)$	Κανένα ζευγάρι σημείων δεν είναι πιο συσχετισμένο από ένα σημείο με τον εαυτό του
Σχέση με αυτοσυνδιακύμανση	$C_{X} (τ) = R_{X} (τ) - m_{X}^{2}$	Όταν $m_{X} = 0$ : $C_{X} = R_{X}$

Αυτές τις ιδιότητες θα ξανα-δούμε επίσημα στην επόμενη σελίδα — εδώ τις αναφέρουμε γιατί είναι load-bearing στις ασκήσεις 2 και 3 των διαφανειών.

12. Ένα κρίσιμο σημείο — δεν είναι «μέσος όρος στον χρόνο»

Πολλοί φοιτητές μπερδεύονται:

«Αλλά ο μέσος του $X (t) = A cos (2 π f_{0} t + ϕ)$ ΔΕΝ είναι $\frac{1}{T} \int x (t) d t = 0$ ;»

Όχι. Αυτός είναι ο time average μιας συγκεκριμένης realization — ένα ντετερμινιστικό cosine δείγμα. Ο μέσος της ΤΔ σύμφωνα με τον ορισμό είναι ο ensemble average: σε σταθερό $t$ , παίρνεις την ΤΜ $X (t)$ και υπολογίζεις το $E [X (t)]$ πάνω σε όλα τα δείγματα.

Αυτή η διάκριση είναι τόσο σημαντική που έχει ολόκληρο κεφάλαιο: η εργοδικότητα (επόμενη σελίδα) λέει ακριβώς πότε οι δύο μέσοι (time-average και ensemble) συμπίπτουν. Για να συμπίπτουν χρειάζεται η ΤΔ να είναι ergodic — αυστηρότερη συνθήκη από WSS.

13. Σύνοψη τύπων — όλα μαζί

Έννοια	Τύπος
Μέση τιμή (μέσος)	$m_{X} (t) = E [X (t)] = \int a f_{X (t)} (a) d a$
Αυτοσυσχέτιση	$R_{X} (t_{i}, t_{j}) = E [X (t_{i}) X (t_{j})]$
Αυτοσυνδιακύμανση	$C_{X} (t_{i}, t_{j}) = R_{X} (t_{i}, t_{j}) - m_{X} (t_{i}) m_{X} (t_{j})$
Συμμετρία	$R_{X} (t_{i}, t_{j}) = R_{X} (t_{j}, t_{i})$ (πραγματικές ΤΔ)
Ετεροσυσχέτιση	$R_{X, Y} (t_{1}, t_{2}) = E [X (t_{1}) Y (t_{2})]$
Ετεροσυνδιακύμανση	$C_{X, Y} (t_{1}, t_{2}) = R_{X, Y} (t_{1}, t_{2}) - m_{X} (t_{1}) m_{Y} (t_{2})$
Ορθογώνιες ΤΔ	$R_{X, Y} (t_{1}, t_{2}) = 0, \forall t_{1}, t_{2}$
Ασυσχέτιστες ΤΔ	$C_{X, Y} (t_{1}, t_{2}) = 0, \forall t_{1}, t_{2}$
Random-phase cosine $ϕ \sim U [0, 2 π)$	$m_{X} = 0, R_{X} (τ) = (A^{2} /2) cos (2 π f_{0} τ)$
Random-phase cosine $ϕ \sim U [0, π]$	$m_{X} (t) = - (2 A / π) sin (2 π f_{0} t)$ — NON-WSS
Independence factorisation	Ανεξάρτητες $ϕ, α$ ⇒ $E [g (ϕ) h (α)] = E [g (ϕ)] E [h (α)]$

⚠️ Πρέπει να θυμάσαι — δεν δίνεται στο τυπολόγιο

Οι ορισμοί αυτής της σελίδας — μέση τιμή $m_{X} (t) = E [X (t)]$ , αυτοσυσχέτιση $R_{X} (t_{i}, t_{j}) = E [X (t_{i}) X (t_{j})]$ , αυτοσυνδιακύμανση $C_{X} (t_{i}, t_{j}) = R_{X} (t_{i}, t_{j}) - m_{X} (t_{i}) m_{X} (t_{j})$ , ετεροσυσχέτιση $R_{X, Y} (t_{1}, t_{2}) = E [X (t_{1}) Y (t_{2})]$ , και το αποτέλεσμα $R_{X} (τ) = \frac{A ^{2}}{2} cos (2 π f_{0} τ)$ για random-phase cosine με $Θ \sim U [0, 2 π)$ — δεν υπάρχουν στο επίσημο τυπολόγιο. Το τυπολόγιο έχει μόνο FT ζεύγη/ιδιότητες, Hilbert, τριγωνομετρικές ταυτότητες και Bessel — τίποτα από τυχαίες διαδικασίες. Τα γράφεις απέξω.

14. Εξάσκηση

0 / 6 λυμένα

Έξι ερωτήσεις πάνω στη μηχανή — πρώτη είναι ολόκληρη η Άσκηση 1 ως guided exercise. Οι υπόλοιπες είναι κλασικά Σ/Λ και partial computations που εμφανίζονται στις εξετάσεις.

15. Ανακάλεσε — drills

Βάλε τα βήματα στη σωστή σειρά

Βάλε στη σωστή σειρά τα 5 βήματα για να υπολογίσεις τον μέσο μιας ΤΔ με τυχαία παράμετρο:

Σύρε τις γραμμές για αναδιάταξη — ή χρησιμοποίησε τα βελάκια .

1.
Στήνω το LOTUS integral: m_X(t) = ∫ g_t(φ) f_φ(φ) dφ πάνω στο support της παραμέτρου.
2.
Ολοκληρώνω (ως προς φ, με t σταθερά).
3.
Σε σταθερό t, γράφω το X(t) ως g_t(φ) — μία ντετερμινιστική συνάρτηση της παραμέτρου, με το t ως σταθερά μέσα στο g_t.
4.
Αναγνωρίζω την παράμετρο τυχαιότητας της ΤΔ (π.χ. τυχαία φάση φ, τυχαίο πλάτος α) και την PDF της.
5.
Ελέγχω αν το αποτέλεσμα εξαρτάται από t — αν ναι, η ΤΔ δεν είναι WSS στον μέσο.

Συμπλήρωσε τα κενά

Συμπλήρωσε τα κενά στα κρίσιμα τμήματα της μηχανής:

Η αυτοσυσχέτιση R_X(t_i, t_j) ορίζεται ως E[]. Για πραγματικές ΤΔ: R_X(t_i, t_j) = . Δύο ΤΔ είναι ορθογώνιες αν R_{X,Y} = για όλα τα t_1, t_2· είναι ασυσχέτιστες αν . Για zero-mean ΤΔ, αυτοσυσχέτιση και αυτοσυνδιακύμανση . Για WSS ΤΔ, η ισχύς είναι .

Ανακάλεσε από μνήμη

Από μνήμη: για την Άσκηση 1 (X(t) = Acos(2πf₁t+φ), φ~U[0,π]· Y(t) = αcos(2πf₂t), α~U[0,2]· φ,α ανεξάρτητες), γράψε χωρίς να κοιτάς: (α) m_X(t), (β) m_Y(t), (γ) R_X(t₁,t₂), (δ) R_{XY}(t₁,t₂), (ε) Είναι WSS; Ορθογώνιες; Ασυσχέτιστες;

16. Αναγνώρισε — όταν δεις αυτές τις φράσεις στην εξέταση

Πώς θα το αναγνωρίσεις

Αν δεις στην εκφώνηση

«τυχαία φάση φ ~ U[…]»
«τυχαίο πλάτος α ~ U[…]»
«βρες m_X(t), R_X(t_1, t_2)»
«ορθογώνιες ή ασυσχέτιστες»
«WSS ή όχι;»
«γινόμενο cosines κάτω από E[·]»
«ανεξάρτητες ΤΜ-παράμετροι»

«τυχαία φάση φ ~ U[…]» → LOTUS με $g (ϕ) = cos (\dots + ϕ)$ . Πρόσεξε το support — $U [0, 2 π)$ → πλήρης περίοδος → $m_{X} = 0$ . $U [0, π]$ → μισή → $m_{X} \neq = 0$ και non-WSS (Άσκηση 1).
«τυχαίο πλάτος α ~ U[…]» → linearity. $α$ βγαίνει έξω από το $E$ · σου μένει $cos (\dots) \cdot E [α]$ . Συνήθως απλό υποπρόβλημα στις ασκήσεις.
«βρες $R_{X} (t_{1}, t_{2})$ » → product-to-sum πάντα για cosines. Πρόσεξε αν το $2 ϕ$ έχει πλήρη περίοδο στο support — αν ναι, μηδενίζεται· μένει η κλασική $(A^{2} /2) cos (2 π f_{0} (t_{1} - t_{2}))$ .
«ορθογώνιες ή ασυσχέτιστες» → ΔΙΑΦΟΡΕΤΙΚΑ concepts. Ορθογώνιες ⇔ $R_{X, Y} = 0$ . Ασυσχέτιστες ⇔ $C_{X, Y} = 0$ . Αν μέσοι μη-μηδενικοί → ξεχωρίζουν.
«WSS ή όχι;» → δύο συνθήκες: (1) $m_{X}$ σταθερό στον χρόνο, (2) $R_{X}$ μόνο της διαφοράς. Αν μία σπάει, ΔΕΝ είναι WSS. Άσκηση 1: σπάει η (1).
«γινόμενο cosines κάτω από $E [\cdot]$ » → product-to-sum αμέσως. Όχι expand. Όχι complex exponentials. Product-to-sum.
«ανεξάρτητες ΤΜ-παράμετροι» → ο μέσος του γινομένου των ΤΔ = γινόμενο των μέσων. Άρα $R_{X, Y} = m_{X} m_{Y}$ και $C_{X, Y} = 0$ αυτόματα — ασυσχέτιστες.

Πού η ΤΔ-μηχανή εμφανίζεται στα παλιά θέματα

17. Πού θα χρειαστείς αυτές τις έννοιες αργότερα

/randomness/stationarity — η συνθήκη WSS τυπικά διατυπώνεται ως « $m_{X} (t) = const$ και $R_{X} (t_{1}, t_{2}) = R_{X} (τ)$ ». Σου ζητάει το $m_{X}$ της §5 και την $R_{X}$ της §6 να συμπεριφερθούν με συγκεκριμένο τρόπο. Επόμενο κεφάλαιο — άμεση συνέχεια.
/randomness/psd — Wiener-Khinchin: $S_{X} (f) = F {R_{X} (τ)}$ . Χωρίς $R_{X} (τ)$ (το §6 αποτέλεσμα), δεν υπάρχει PSD.
/noise/sources — ο θερμικός θόρυβος ορίζεται ως WSS ΤΔ με συγκεκριμένη PSD. Όλος ο ορισμός χτίζεται πάνω στη μηχανή των §§5-8.
/noise/white-noise — λευκός θόρυβος = WSS ΤΔ με $R_{X} (τ) = (N_{0} /2) δ (τ)$ (extreme case του §6 πρότυπου). Η §6α «αργό vs γρήγορο» γίνεται « $δ$ -spike».
/noise/through-filters — η ΣΑΣ της εξόδου: $R_{Y} (τ) = R_{X} (τ) * h (τ) * h (- τ)$ . Όλο το LTI-with-noise σε μία γραμμή με την $R_{X}$ της §6.
/noise/bandpass — bandpass θόρυβος → I/Q components $n_{I} (t), n_{Q} (t)$ · ορίζονται από cross-correlations $R_{n_{I}, n_{Q}}$ — όλη η §8 μηχανή.
/am/modulator-demodulator & /fm/in-noise — η ανάλυση AM/FM σε θόρυβο χρησιμοποιεί $E [n^{2} (t)] = R_{N} (0)$ ως ισχύ θορύβου στο SNR.

18. Συμπύκνωσε — όλο το κεφάλαιο

Συμπύκνωσε όλο το κεφάλαιο