Randomness · 3·~24 min read·🟢 Light exam — foundation for noise

Random processes — από RVs σε τυχαία σήματα

Τώρα που ξέρουμε τι είναι μια τυχαία μεταβλητή, ας την «κουνήσουμε» στον χρόνο. Ένα random process (τυχαίο σήμα) είναι μια οικογένεια τυχαίων μεταβλητών indexed by time: μια διαφορετική RV για κάθε στιγμή $t$ .

1. Ο ορισμός — ensemble και realization

Φαντάσου ότι έχεις χίλιους ίδιους δέκτες ραδιοφώνου, ο καθένας με δικό του antenna, όλοι σιωπηλοί (χωρίς εκπομπές). Αν κάθε ένας καταγράφει την έξοδό του για 1 δευτερόλεπτο, παίρνεις χίλιες διαφορετικές κυματομορφές θορύβου.

Όλες αυτές μαζί σχηματίζουν το random process. Κάθε μια από αυτές είναι μια realization (ή «δείγμα») του process.

Επίσημα:

X (t, ω), t \in T, ω \in Ω

όπου:

$t$ είναι ο χρόνος (η «πρώτη παράμετρος»)
$ω$ είναι το αποτέλεσμα του τυχαίου πειράματος (η «δεύτερη παράμετρος»)
$Ω$ είναι ο χώρος όλων των δυνατών αποτελεσμάτων

Δύο τρόποι να «τέμνεις» ένα random process:

Σταθερό $t$ , μεταβλητό $ω$ : $X (t_{0}, \cdot)$ είναι μια τυχαία μεταβλητή (η τιμή κάθε realization στη στιγμή $t_{0}$ ).
Σταθερό $ω$ , μεταβλητός $t$ : $X (\cdot, ω_{0})$ είναι μια realization (ένα ντετερμινιστικό σήμα).

Στην πράξη παραλείπουμε τη γραφή $ω$ και γράφουμε απλά $X (t)$ . Πρέπει να θυμάσαι ότι $X (t)$ είναι RV για κάθε $t$ .

Realizations ενός random process

✓ Αυτό το process είναι stationary: η ensemble statistics δεν αλλάζουν με τον χρόνο. Μπορείς να μιλάς για «μέσο» και «αυτοσυσχέτιση» χωρίς να ορίζεις χρόνο.

Πάτα τα διάφορα presets και δες τι σημαίνει «ensemble» — μια οικογένεια realizations του ίδιου random process.

2. Mean function

Ο μέσος ενός random process είναι συνάρτηση του χρόνου:

μ_{X} (t) = E [X (t)]

(Παίρνουμε το ensemble average σε σταθερό $t$ .)

Αν το process έχει σταθερό μέσο στον χρόνο, λέμε ότι ο μέσος είναι «stationary in mean». Αυτό είναι το πρώτο από τα δύο που χρειάζεται για να είναι ένα process WSS (το βλέπουμε στο επόμενο κεφάλαιο).

3. Autocorrelation function

Πιο σημαντική από τον μέσο για τη θεωρία επικοινωνιών είναι η αυτοσυσχέτιση:

R_{X} (t_{1}, t_{2}) = E [X (t_{1}) X (t_{2})] ✓ Στο τυπολ \overset{ο}{ˊ} γιο

Είναι ο μέσος όρος του γινομένου των τιμών του process σε δύο διαφορετικές χρονικές στιγμές, υπολογισμένος πάνω στο ensemble.

Πρακτική σημασία: μάς λέει πόσο συσχετισμένες είναι οι τιμές του process σε διαφορετικές χρονικές στιγμές.

Αν $R_{X} (t_{1}, t_{2})$ είναι μεγάλο όταν $t_{2}$ κοντά στο $t_{1}$ , τότε το process είναι «αργό» — οι τιμές αλλάζουν σιγά-σιγά (π.χ. lowpass-filtered θόρυβος).
Αν $R_{X}$ πέφτει γρήγορα στο 0 όταν $∣ t_{2} - t_{1} ∣ > 0$ , τότε το process είναι «γρήγορο» — οι τιμές αλλάζουν απότομα (π.χ. λευκός θόρυβος).
Όταν $t_{1} = t_{2} = t$ , παίρνουμε $R_{X} (t, t) = E [X^{2} (t)]$ — η μέση ισχύς του process στη στιγμή $t$ .

Autocovariance

Παρόμοια με covariance για RVs:

C_{X} (t_{1}, t_{2}) = E [(X (t_{1}) - μ_{X} (t_{1})) (X (t_{2}) - μ_{X} (t_{2}))] = R_{X} (t_{1}, t_{2}) - μ_{X} (t_{1}) μ_{X} (t_{2})

Αν ο μέσος είναι 0 (που είναι συνήθης case για θόρυβο), τότε autocorrelation και autocovariance ταυτίζονται.

4. Cross-correlation και cross-covariance

Για δύο διαφορετικά random processes $X (t)$ και $Y (t)$ , μπορούμε να μετρήσουμε πόσο συσχετίζεται το ένα με το άλλο σε δύο στιγμές:

Cross-correlation:

R_{X Y} (t_{1}, t_{2}) = E [X (t_{1}) Y (t_{2})]

Cross-covariance:

C_{X Y} (t_{1}, t_{2}) = R_{X Y} (t_{1}, t_{2}) - μ_{X} (t_{1}) μ_{Y} (t_{2})

Δύο σχετικές αλλά διαφορετικές έννοιες:

Orthogonal (ορθογώνια): $R_{X Y} (t_{1}, t_{2}) = 0$ για όλα $t_{1}, t_{2}$ . Δηλαδή, ο μέσος του γινομένου $X (t_{1}) Y (t_{2})$ είναι μηδέν.
Uncorrelated (ασυσχέτιστα): $C_{X Y} (t_{1}, t_{2}) = 0$ για όλα $t_{1}, t_{2}$ . Δηλαδή, η συσχέτιση πάνω από τους μέσους είναι μηδέν.

Από τη σχέση $C_{X Y} = R_{X Y} - μ_{X} μ_{Y}$ :

Orthogonal \Leftrightarrow R_{X Y} = 0 vs Uncorrelated \Leftrightarrow R_{X Y} = μ_{X} μ_{Y}

Αν τα δύο processes έχουν μηδενικό μέσο, οι δύο έννοιες ταυτίζονται. Σε ένα μη-μηδενικό-μέσο process, ξεχωρίζουν.

Πραγματικό παράδειγμα: ο θόρυβος που εισέρχεται από την κεραία και η θέρμανση των transistors του δέκτη. Είναι δύο διαφορετικές πηγές — γενικά uncorrelated, οπότε $C_{X Y} (t_{1}, t_{2}) = 0$ . Όταν αναλύουμε το συνολικό θόρυβο στην έξοδο του δέκτη, αυτή η ιδιότητα μάς επιτρέπει να προσθέτουμε ισχύες χωρίς cross-terms.

5. Ένα κρίσιμο σημείο — δεν είναι «μέσος όρος στον χρόνο»

Πολλοί φοιτητές μπερδεύονται:

«Ο μέσος όρος δεν είναι $\frac{1}{T} \int x (t) d t$ ;»

Όχι — αυτός είναι ο time average. Ο μέσος όρος του random process σύμφωνα με τον ορισμό είναι ο ensemble average: παίρνουμε πολλές realizations και υπολογίζουμε τον μέσο τους σε σταθερό χρόνο.

Αυτή η διάκριση είναι τόσο σημαντική που έχει το δικό της κεφάλαιο: η ergodicity (επόμενη σελίδα) λέει ακριβώς πότε time average και ensemble average συμπίπτουν.

6. Worked example — random-phase cosine (το κλασικό)

X(t) = A cos(2π f₀ t + Θ), Θ ~ U[0, 2π) — ensemble & time-slice

Πάνω: 8 «realizations» — διαφορετικές τιμές της τυχαίας φάσης Θ. Κάθε γραμμή είναι ένα συγκεκριμένο cosine. Μέσο: η «time slice» — αν παγώσεις τον χρόνο σε t και διαβάσεις την τιμή κάθε realization, παίρνεις μια τυχαία μεταβλητή X(t). Σύρε τη γραμμή και δες πώς η ραβδόγραμμα αλλάζει — αλλά το σχήμα της κατανομής μένει ίδιο (ομοιόμορφη στο [-A, A]) — ένδειξη ότι το process είναι stationary.

Time slice t = 2.00 s

Παρατήρηση WSS: για κάθε t, το ensemble μέσο E[X(t)] = 0 (ο μέσος όρος των cosines με τυχαία φάση είναι 0). Η αυτοσυσχέτιση R_X(τ) = (A²/2)cos(2π f₀ τ) εξαρτάται μόνο από τη διαφορά τ = t₁ - t₂, όχι από τα t₁ ή t₂ ξεχωριστά. → wide-sense stationary.

Στη γραφική, σύρε τη time-slice. Παρατήρησε ότι:

Σε κάθε $t$ , η κατανομή του $X (t)$ είναι ίδια (arcsine — με ψηλά «αυτιά» στα ±A).
Άρα η stationarity είναι ορατή: τίποτα δεν αλλάζει με τον χρόνο.

7. Properties της autocorrelation (για WSS process)

Όταν $R_{X} (t_{1}, t_{2}) = R_{X} (τ)$ μόνο, οι ιδιότητες απλοποιούνται:

Ιδιότητα	Τύπος
Τιμή στο 0 = ισχύς	$R_{X} (0) = E [X^{2} (t)] = P_{X}$
Άρτια	$R_{X} (τ) = R_{X} (- τ)$
Maximum στο 0	$
Σχέση με covariance	$C_{X} (τ) = R_{X} (τ) - μ_{X}^{2}$

Η ιδιότητα «max στο 0» δηλώνει: κανένα ζευγάρι σημείων δεν είναι πιο συσχετισμένο από ένα σημείο με τον εαυτό του.

8. Σύνοψη

Έννοια	Τύπος
Mean function	$μ_{X} (t) = E [X (t)]$
Autocorrelation	$R_{X} (t_{1}, t_{2}) = E [X (t_{1}) X (t_{2})]$
Autocovariance	$C_{X} (t_{1}, t_{2}) = R_{X} - μ_{X} (t_{1}) μ_{X} (t_{2})$
Cross-correlation	$R_{X Y} (t_{1}, t_{2}) = E [X (t_{1}) Y (t_{2})]$
Cross-covariance	$C_{X Y} = R_{X Y} - μ_{X} μ_{Y}$
Random-phase cosine	$μ_{X} = 0$ , $R_{X} (τ) = (A^{2} /2) cos (2 π f_{0} τ)$

Εξάσκηση

0 / 5 λυμένα

Πέντε ερωτήσεις πάνω στο random-phase cosine και την autocorrelation — κλασικά εξεταστικά.

Τι μάθαμε

Ένα random process είναι μια οικογένεια RVs indexed by χρόνο. Δύο τρόποι να το «τέμνεις»: σταθερό t (RV) ή σταθερό ω (realization).
Mean $μ_{X} (t)$ και autocorrelation $R_{X} (t_{1}, t_{2})$ είναι οι βασικές στατιστικές ποσότητες.
Cross-correlation $R_{X Y} (t_{1}, t_{2})$ μετρά πόσο συσχετίζονται δύο διαφορετικά processes.
Στο random-phase cosine (το κλασικό παράδειγμα) προκύπτει $μ_{X} = 0$ και $R_{X} (τ) = (A^{2} /2) cos (2 π f_{0} τ)$ — εξαρτάται μόνο από τη διαφορά χρόνων.
Αυτή η εξάρτηση μόνο από $τ$ είναι κρίσιμη — οδηγεί στην έννοια της Wide-Sense Stationarity (WSS) που ορίζουμε στο επόμενο κεφάλαιο.

Επόμενο

Stationarity & ergodicity

Φόρτωση σχολίων…