Randomness · 4·~22 min read·🟢 Light exam — load-bearing for noise

Stationarity & ergodicity

Στο προηγούμενο κεφάλαιο είδαμε ότι η αυτοσυσχέτιση του random-phase cosine εξαρτάται μόνο από τη διαφορά χρόνων $τ = t_{1} - t_{2}$ . Αυτή η ιδιότητα — οι στατιστικές να είναι αμετάβλητες σε χρονική μετατόπιση — είναι τόσο σημαντική που της δίνουμε όνομα: stationarity.

Σε αυτό το κεφάλαιο:

Ορίζουμε strict-sense stationarity (SSS) — αυστηρή έννοια.
Ορίζουμε wide-sense stationarity (WSS) — πρακτική έννοια που χρησιμοποιούμε.
Συζητάμε ergodicity — πότε time average ισούται με ensemble average.
Λύνουμε ένα παράδειγμα όπου ένα process δεν είναι WSS και ένα όπου είναι αλλά όχι ergodic.

1. Strict-sense stationarity

Ένα random process είναι strict-sense stationary αν όλες οι joint distributions του είναι αμετάβλητες σε χρονική μετατόπιση. Επίσημα, για κάθε $n, t_{1}, \dots, t_{n}$ και κάθε χρονική μετατόπιση $δ$ :

f_{X (t_{1}), \dots, X (t_{n})} (x_{1}, \dots, x_{n}) = f_{X (t_{1} + δ), \dots, X (t_{n} + δ)} (x_{1}, \dots, x_{n})

Δηλαδή: η πιθανότητα να βρεθώ σε συγκεκριμένη συνδυαστική κατάσταση είναι ίδια όποτε κι αν βρίσκομαι. Πολύ ισχυρή συνθήκη — δύσκολο να εξακριβωθεί στην πράξη.

2. Wide-sense stationarity (WSS) — αυτό που χρησιμοποιούμε

Στην πράξη χρειαζόμαστε μόνο τις πρώτες δύο ροπές (mean και autocorrelation) να είναι σταθερές. Αυτό είναι το wide-sense stationary:

1. μ_{X} (t) = μ_{X} = const 2. R_{X} (t_{1}, t_{2}) = R_{X} (τ), τ = t_{1} - t_{2}

Δύο συνθήκες:

Σταθερός μέσος στον χρόνο.
Autocorrelation εξαρτάται μόνο από τη διαφορά χρόνων.

Σχέση με SSS: SSS ⇒ WSS (αλλιώς θα ήταν SSS και όχι ισχυρότερη). Αλλά WSS ⇏ SSS γενικά. Για Gaussian processes ισχύει WSS ⇔ SSS (γιατί η Gaussian οικογένεια ορίζεται πλήρως από mean και covariance).

Γιατί WSS αρκεί συνήθως

Στις περισσότερες εφαρμογές (θόρυβος σε δέκτες, διαμόρφωση), μάς ενδιαφέρει η ισχύς του σήματος και το φάσμα του. Και τα δύο εκφράζονται μέσω της autocorrelation:

$R_{X} (0) = E [X^{2}] =$ ισχύς
$S_{X} (f) = F {R_{X} (τ)} =$ PSD (επόμενο κεφάλαιο)

Άρα το WSS αρκεί για όλη τη φαρδιά συμβατική ανάλυση SNR / spectrum / filtering.

Decomposition R_X(τ) = μ_X² + R_N(τ) για non-zero-mean

Αν ένα WSS process $X (t)$ έχει σταθερό αλλά μη μηδενικό μέσο $μ_{X}$ , μπορούμε να το αναλύσουμε ως:

X (t) = μ_{X} + N (t), \overset{ο}{ˊ} που N (t) = X (t) - μ_{X} ε \overset{ι}{ˊ} ναι zero-mean

Τότε η αυτοσυσχέτιση γίνεται:

R_{X} (τ) = E [(μ_{X} + N (t)) (μ_{X} + N (t + τ))] = μ_{X}^{2} + R_{N} (τ)

(Οι σταυρωτοί όροι $μ_{X} E [N (t)]$ και $μ_{X} E [N (t + τ)]$ μηδενίζονται λόγω zero-mean.)

Σημαντική παρατήρηση: η $R_{X} (τ)$ έχει έναν σταθερό όρο $μ_{X}^{2}$ που δεν εξαρτάται από το $τ$ . Αυτό σημαίνει ότι όταν $τ \to \infty$ (για processes που «ξεχνούν» γρήγορα), $R_{N} (τ) \to 0$ και άρα $R_{X} (τ) \to μ_{X}^{2}$ . Δηλαδή ο μέσος όρος μπορεί να βρεθεί από το asymptotic της autocorrelation:

μ_{X} = \pm τ \to \infty lim R_{X} (τ)

Αυτή η decomposition εμφανίζεται όταν αναλύουμε modulated σήματα όπου ένα DC offset συνυπάρχει με τυχαίο message — π.χ. AM σήμα με $A_{c}$ ως DC + message $m (t)$ ως random.

3. Ιδιότητες της R_X(τ) για WSS process

Από WSS η $R_{X}$ είναι συνάρτηση μόνο του $τ$ :

Ιδιότητα	Τύπος
Άρτια	$R_{X} (- τ) = R_{X} (τ)$
Maximum στο 0	$∥ R_{X} (τ) ∥ \leq R_{X} (0)$
Ισχύς	$R_{X} (0) = E [X^{2}] = P_{X}$
Asymptote για ασυσχέτιστες τιμές	$R_{X} (τ) \to μ_{X}^{2}$ καθώς $

Πρόσθετη: η $R_{X} (τ)$ είναι non-negatively definite — δηλαδή είναι FT μιας μη αρνητικής συνάρτησης (της PSD). Δεν την αποδεικνύουμε εδώ, αλλά την χρησιμοποιούμε στο επόμενο κεφάλαιο.

4. Ergodicity — πότε μία καταγραφή αρκεί

Σκέψου: στην πράξη δεν μπορούμε να καταγράψουμε χίλιες διαφορετικές realizations του ίδιου random process. Έχουμε μία, που γράφεται μέσα από έναν δέκτη.

Πώς υπολογίζουμε τότε τις στατιστικές ( $μ_{X}, R_{X}$ ); Παίρνουμε time averages από αυτή τη μία καταγραφή:

\overset{ˉ}{X} = T \to \infty lim \frac{1}{2 T} \int_{- T}^{T} x (t) d t

\overset{ˉ}{R}_{X} (τ) = T \to \infty lim \frac{1}{2 T} \int_{- T}^{T} x (t) x (t + τ) d t

Ergodicity είναι η συνθήκη που κάνει αυτή την ιδέα να δουλεύει:

Ergodic στον μ \overset{ε}{ˊ} σο: \overset{ˉ}{X} = μ_{X} (η.π.)

Ergodic στην autocorrelation: \overset{ˉ}{R}_{X} (τ) = R_{X} (τ)

Όπου «η.π.» = με πιθανότητα 1. Δηλαδή, για σχεδόν κάθε realization, ο time-average ισούται με τον ensemble-average.

Σχέση με stationarity: Ergodic ⇒ WSS (γιατί $μ_{X}$ πρέπει να είναι σταθερός για να ορίζεται). Αλλά WSS ⇏ ergodic γενικά.

Ergodicity — time-average vs ensemble-average

✓ Ergodic στον μέσο — ο time-average (μπλε) και ο ensemble-average (μωβ) τείνουν στην ίδια τιμή. Άρα μπορούμε να εκτιμήσουμε τον μέσο του process από μία αρκετά μακροχρόνια καταγραφή.

Δες τα presets:

Λευκός θόρυβος: time-average και ensemble-average συγκλίνουν στο 0. Ergodic ✓
Random-phase cosine: ίδιο. Ergodic ✓
Random DC: το time-average σε κάθε realization είναι η DC τιμή της — όχι ο ensemble mean! Δείχνει το process είναι WSS αλλά όχι ergodic.

Γιατί δεν είναι πάντα ergodic

Στο random-DC παράδειγμα, κάθε realization είναι μια σταθερά $A$ (δειγματισμένη μία φορά κατά την έναρξη). Ο μέσος όρος στον χρόνο ισούται με αυτό το $A$ — η συγκεκριμένη realization του πειράματος, όχι το $μ_{X} = E [A] = 0$ . Διαφορετική realization → διαφορετικό time-average.

Σε αντίθεση, ο λευκός θόρυβος αλλάζει τόσο γρήγορα που η ίδια η μία realization καλύπτει «όλη την κατανομή» στον χρόνο — ο time-average στατιστικά ίδιος με τον ensemble average.

5. Worked example — διάκριση WSS / not WSS

Σύγκρινε: το random-phase cosine είναι WSS, το random-amplitude cosine δεν είναι. Αυτό φαίνεται οπτικά στο <RandomProcessRealizationsViz /> του προηγούμενου κεφαλαίου — δες το preset «A cos(2π f₀ t), A ~ N(0,1)» και θα παρατηρήσεις ότι όλες οι realizations έχουν το ίδιο σχήμα αλλά διαφορετικά πλάτη: όταν είναι στο peak, οι statistics εξαρτώνται από το $t$ .

6. Joint stationarity (για δύο processes)

Δύο processes $X (t)$ και $Y (t)$ είναι jointly WSS αν:

Καθένα από μόνο του είναι WSS.
Το cross-correlation εξαρτάται μόνο από τη διαφορά: $R_{X Y} (t_{1}, t_{2}) = R_{X Y} (τ)$ .

Παράδειγμα: ο θόρυβος εισόδου $N_{1} (t)$ και ο θόρυβος του δέκτη $N_{2} (t)$ είναι από διαφορετικές πηγές → uncorrelated, jointly WSS.

7. Σύνοψη

Έννοια	Συνθήκη
SSS	Όλες οι joint distributions αμετάβλητες σε time shift
WSS	$μ_{X} =$ const και $R_{X} (t_{1}, t_{2}) = R_{X} (τ)$
Ergodic στον μέσο	$\frac{1}{2 T} \int_{- T}^{T} x (t) d t \to μ_{X}$
Ergodic στην autocorrelation	$\frac{1}{2 T} \int_{- T}^{T} x (t) x (t + τ) d t \to R_{X} (τ)$
Σχέσεις	SSS ⇒ WSS, ergodic ⇒ WSS. Για Gaussian: WSS ⇔ SSS.

Εξάσκηση

0 / 5 λυμένα

Πέντε ερωτήσεις για να ξεχωρίσεις WSS από non-WSS και να καταλάβεις τι κάνει η ergodicity.

Τι μάθαμε

WSS είναι η πρακτική έννοια stationarity: σταθερός μέσος + autocorrelation που εξαρτάται μόνο από $τ$ .
Random-phase cosine είναι WSS. Random-amplitude cosine δεν είναι.
Ergodicity σου επιτρέπει να μετράς ensemble statistics από μία μακροχρόνια καταγραφή — απαραίτητο στην πράξη.
Στις εξετάσεις του K21, τα random signals που εμφανίζονται είναι σχεδόν πάντα WSS και ergodic εκτός αν αναφέρεται διαφορετικά.
Επόμενο κεφάλαιο: η PSD ενός WSS process — η FT της autocorrelation, που γενικεύει την Wiener-Khinchin που είδαμε για ντετερμινιστικά σήματα.

Επόμενο

Power spectral density

Φόρτωση σχολίων…