Γιατί χρειαζόμαστε πιθανότητα στα σήματα

1. Νιώσε — γιατί ξαφνικά μιλάμε για τυχαιότητα

Μέχρι τώρα όλα τα σήματα που μελετήσαμε ήταν ντετερμινιστικά: γνώριζες την τιμή τους κάθε χρονική στιγμή. Παράδειγμα — αν σου πω «είναι το σήμα $x(t)=A\cos (2\pi f_{0}t+\varphi )$ με $A=1$, $f_0=100$ Hz, $\varphi =0$», ξέρεις ότι στη χρονική στιγμή $t=2.5$ ms η τιμή είναι $\cos (\pi /2)=0$, χωρίς να χρειαστεί να μετρήσεις τίποτα.

Αλλά βάλε ένα μικρόφωνο σε ένα ενισχυτή και άφησε σιωπή. Κάτι ακούγεται — ένα απαλό «σσσσ» που δεν σταματάει ποτέ. Αυτό δεν είναι ντετερμινιστικό σήμα. Δεν μπορείς να γράψεις «το θερμικό-θόρυβος-σήμα στις 13:42:07.123 είναι $n(t)=\dots$»· κάθε φορά που το μετράς, βγαίνει διαφορετικό. Παράγεται από την τυχαία κίνηση $10^{23}$ ηλεκτρονίων, και είναι φυσικώς αδύνατο να το προβλέψεις σημείο-προς-σημείο.

Πώς όμως μελετάμε ένα σήμα που δεν μπορούμε να γράψουμε; Με στατιστικές ιδιότητες: μέση τιμή, ισχύς, φάσμα ισχύος. Αυτές ποσοτικοποιούν «τι κάνει συνήθως» χωρίς να χρειάζονται τη συγκεκριμένη κυματομορφή. Όλη η ανάλυση SNR της AM, της FM, του δέκτη σου, χτίζεται πάνω σε αυτές τις στατιστικές, όχι πάνω σε κάποιο συγκεκριμένο «$n(t)=\dots$».

2. Τρία παραδείγματα από τον πραγματικό κόσμο

2α. Ο θερμικός θόρυβος

Όταν συνδέσεις μικρόφωνο σε ενισχυτή και αφήσεις σιωπή, κάτι ακούγεται. Αυτό είναι θερμικός θόρυβος: η τυχαία κίνηση των ηλεκτρονίων στους αγωγούς (κίνηση Brown) παράγει μικρό αλλά απρόβλεπτο σήμα. Στις θερμοκρασίες δωματίου, κάθε αντίσταση στο κύκλωμα του δέκτη σου παράγει θόρυβο.

• Δεν μπορούμε να γράψουμε «$n(t)=\dots$» — δεν υπάρχει κλειστή φόρμα.
• Μπορούμε να ποσοτικοποιήσουμε τις στατιστικές του: ο μέσος είναι 0, η μέση ισχύς είναι $kTB$ Watts (όπου $k$ Boltzmann, $T$ θερμοκρασία, $B$ bandwidth), και το φάσμα είναι σχεδόν επίπεδο μέχρι 6000 GHz («λευκός θόρυβος»).

Όλο το noise floor ενός δέκτη — και άρα όλη η ανάλυση SNR στις σελίδες AM in noise και FM in noise — εξαρτάται από αυτές τις στατιστικές, όχι από τη συγκεκριμένη μορφή του $n(t)$. Δεν μας ενδιαφέρει αν στις 13:42:07.123 ο θόρυβος είχε τιμή $+0.7$ ή $-0.3$ — μας ενδιαφέρει η ισχύς του και πώς αλλάζει αυτή η ισχύς όταν περάσει μέσα από ένα φίλτρο.

2β. Τα μηνύματα που στέλνουμε δεν είναι προβλέψιμα

Πριν κάνεις ένα τηλεφώνημα, δεν ξέρεις τη φωνητική κυματομορφή που θα παράγεις. Εξαρτάται από το τι θα πεις. Όταν σχεδιάζεις σύστημα FM ραδιοφώνου, δεν μπορείς να υποθέσεις «το $m(t)$ θα είναι $\cos (2\pi \cdot 1000t)$» γιατί κανένα πραγματικό μήνυμα δεν είναι αυτό.

• Άρα το $m(t)$ είναι τυχαίο — αλλά όχι αυθαίρετο. Έχει συγκεκριμένες στατιστικές ιδιότητες: typical bandwidth $\sim$3–15 kHz για φωνή, μέση ισχύς γύρω από κάποια τιμή, κατανομή πλατών με συγκεκριμένη μορφή.
• Σχεδιάζουμε πομπούς και δέκτες ώστε να δουλεύουν για οποιαδήποτε φωνή/μουσική εντός αυτών των στατιστικών ορίων.

Αυτή είναι και η ίδια η ιδέα της επικοινωνίας: αν το μήνυμα ήταν εκ-των-προτέρων γνωστό στον δέκτη, δεν θα χρειαζόταν να σταλεί. Η ίδια η ύπαρξη της επικοινωνίας υπονοεί ότι ο πομπός έχει κάτι που ο δέκτης δεν έχει — άρα κάτι μη-προβλέψιμο για τον δέκτη — άρα κάτι τυχαίο.

2γ. Το κανάλι αλλάζει με τον χρόνο

Όταν περπατάς κρατώντας κινητό, το σήμα από το base station κουνιέται — σε στιγμές δυναμώνει, σε στιγμές εξασθενεί. Αυτό λέγεται fading, και προκύπτει από εμπόδια (τοίχοι, αυτοκίνητα, σύννεφα) που αλλάζουν διαρκώς τη διαδρομή του ηλεκτρομαγνητικού κύματος. Δεν μπορείς να γράψεις «το gain του καναλιού είναι $h(t)=\dots$» γιατί εξαρτάται από τη θέση σου και τι υπάρχει γύρω.

• Η ανάλυση τέτοιων καναλιών χρειάζεται τυχαίες συναρτήσεις του χρόνου — το ίδιο εργαλείο που χρειαζόμαστε για τον θόρυβο.

3. Η canonical εικόνα: ο cosine με τυχαία φάση

Ο πιο απλός — αλλά πραγματικά διαφωτιστικός — τρόπος να καταλάβεις τι σημαίνει «τυχαία διαδικασία» είναι ο εξής:

Πάρε ένα cosine σταθερής συχνότητας. Άσε τη φάση του να είναι τυχαία.

Συγκεκριμένα — και αυτό είναι αυτούσιο το παράδειγμα της διαφάνειας 6:

Με αυτή την επιλογή φάσης, έχεις 4 πιθανές «καταγραφές» (realizations):

Καθεμία από αυτές είναι ντετερμινιστική — αν διαλέξεις π.χ. $\varphi =\pi /4$, ξέρεις ακριβώς πού θα είναι το cosine σε κάθε $t$. Τυχαίο δεν είναι το $t$· τυχαία είναι η επιλογή της φάσης, δηλαδή ποια καταγραφή θα συμβεί.

Δύο όροι από τις διαφάνειες που πρέπει να ξέρεις:

• κυματομορφή δείγμα (sample function, ή «realization») = μία συγκεκριμένη $x_i(t)$, π.χ. το $x_2(t)=\cos (2\pi t+\pi /4)$. Είναι ντετερμινιστική — δεν έχει τίποτα τυχαίο πλέον.
• Τυχαία Διαδικασία (ΤΔ) $X(t)$ = η συλλογή όλων των δειγμάτων: $X(t)\triangleq \{x_i(t)|\forall {\varphi }_i\}$. Το $X$ με κεφαλαίο = τυχαίο σήμα.

Ισχύει ένα ακόμα πιο λεπτό σημείο: αν διαλέξεις μια σταθερή χρονική στιγμή $t_0$ και ρωτήσεις «τι τιμή θα έχει το $X(t_0)$;», η απάντηση είναι «εξαρτάται από τη φάση». Άρα το $X(t_0)$ είναι τυχαία μεταβλητή (ΤΜ) — όχι σταθερός αριθμός. Στο παράδειγμά μας:

Δηλαδή το $X(0)$ έχει κατανομή (distribution). Και «κατανομή» σημαίνει απλώς «ποια τιμή, με τι πιθανότητα»: εδώ, οι 4 τιμές $1,\frac{\sqrt{2}}{2},0,-\frac{\sqrt{2}}{2}$, καθεμία με πιθανότητα $\frac{1}{4}$. Δεν είναι ένας αριθμός — είναι μια λίστα τιμών με τα βάρη (πιθανότητες) τους. Αυτό είναι το βασικό switch: μια ΤΔ είναι οικογένεια από ΤΜ, μία ΤΜ για κάθε $t$. (Το τυπικό μαθηματικό εργαλείο για κατανομές — PDF, CDF — χτίζεται στο /randomness/random-variables· εδώ αρκεί η διαίσθηση «τιμή + πιθανότητα».)

4. Ensemble vs realization — δύο τρόποι να κοιτάς το σήμα

Είδες ότι μια ΤΔ έχει δύο όψεις. Ονομαστικά:

• Realization ($x_i(t)$, πεζό): μία συγκεκριμένη κυματομορφή — π.χ. το ηχογραφημένο noise από μία συγκεκριμένη μέτρηση. Ντετερμινιστική. Διαβάζεις την τιμή της σε κάθε $t$.
• Ensemble $X(t)$ (κεφαλαίο): η συλλογή όλων των πιθανών realizations. Τυχαίο σήμα. Σε κάθε σταθερή στιγμή $t_0$, το $X(t_0)$ είναι ΤΜ.

Όταν θέλεις στατιστικές ιδιότητες (μέση τιμή, αυτοσυσχέτιση κλπ), τις βγάζεις παίρνοντας μέσο όρο πάνω στο ensemble σε σταθερό $t$ — όχι παίρνοντας μέσο όρο μιας μόνο realization στον χρόνο. Διαισθητικά, ο μέσος $m_X(t)=E[X(t)]$ είναι ο σταθμισμένος μέσος όλων των τιμών που μπορεί να πάρει η $X(t)$, με βάρη τις πιθανότητές τους.

Στο διακριτό μας παράδειγμα (4 φάσεις, καθεμία με πιθανότητα $\frac{1}{4}$) σε σταθερό $t=0$, αυτό είναι ένα απλό άθροισμα τιμή × πιθανότητα:

Είναι ακριβώς ο μέσος των 4 τιμών που είδες στο κάτω διάγραμμα του viz — τίποτα πιο εξωτικό. Για συνεχή κατανομή (άπειρες δυνατές τιμές αντί για 4), το άθροισμα γίνεται ολοκλήρωμα με την πυκνότητα πιθανότητας $f_{X(t)}$:

Μην ανησυχείς πώς στήνεται ή υπολογίζεται αυτό το ολοκλήρωμα τώρα — η πυκνότητα πιθανότητας $f_{X(t)}$ και ο μηχανισμός υπολογισμού (LOTUS) χτίζονται από το μηδέν στο /randomness/random-variables. Εδώ κράτα μόνο τη διαίσθηση: ο μέσος είναι ο σταθμισμένος μέσος των δυνατών τιμών.

Ένα σημείο που μπερδεύει: γράφουμε $m_X(t)$ σαν συνάρτηση του $t$, αλλά αυτό δεν σημαίνει αυτόματα ότι η τιμή «αλλάζει με τον χρόνο». Το $m_X(t)$ είναι απλώς «ο μέσος τη στιγμή $t$» — τον υπολογίζεις ξεχωριστά σε κάθε παγωμένη στιγμή. Το πραγματικό ερώτημα είναι τι κάνει ο αριθμός που βγαίνει καθώς πας σε άλλες στιγμές:

• Αν βγαίνει ο ίδιος αριθμός σε κάθε $t$ (π.χ. πάντα 0), ο μέσος είναι σταθερός — η καμπύλη του μέσου είναι μια ίσια οριζόντια γραμμή.
• Αν ο αριθμός αλλάζει από στιγμή σε στιγμή, η καμπύλη του μέσου ανεβοκατεβαίνει — τότε ο μέσος όντως εξαρτάται από τον χρόνο.

Δηλαδή «εξαρτάται από τον χρόνο» δεν εννοεί «έχει $t$ στη γραφή του» (αυτό ισχύει πάντα) — εννοεί «η τιμή του διαφέρει σε διαφορετικές στιγμές». (Όταν ο μέσος είναι σταθερός, λέμε ότι η ΤΔ είναι «στάσιμη ως προς τη μέση τιμή» — πλήρως στο /randomness/stationarity.)

Το viz παρακάτω σου δείχνει 4 διαφορετικές «οικογένειες» από realizations (οι μπλε γραμμές) με τον μέσο ensemble $m_X(t)$ ζωγραφισμένο από πάνω (η κόκκινη καμπύλη — ο μέσος όλων των realizations σε κάθε στιγμή). Διάλεξε από τα κουμπιά ποια οικογένεια θέλεις να δεις, και παρατήρησε πότε η κόκκινη καμπύλη μένει ίσια (σταθερός μέσος) και πότε κυματίζει (μέσος που αλλάζει με τον χρόνο).

5. Το λεξιλόγιο που θα δεις στις διαφάνειες

Οι διαφάνειες χρησιμοποιούν συγκεκριμένη ορολογία — μερικές φορές ελληνικά, μερικές φορές αγγλικά, και πάντα με συγκεκριμένα συντομογραφημένα ακρώνυμα (ΤΔ, ΣΑΣ, ΦΠΙ). Αν δεις αυτά τα σύμβολα σε εκφώνηση εξέτασης και δεν τα αναγνωρίζεις, η άσκηση γίνεται δυσανάλογα δύσκολη.

Με αυτό κατά νου, ο πίνακας με ό,τι θα συναντήσεις:

6. Πού πάμε: μια ΤΔ συνοψίζεται με δύο ποσότητες

Μια ΤΔ είναι οικογένεια από ΤΜ, και κάθε ΤΜ έχει ολόκληρη κατανομή. Για να την περιγράψεις πλήρως θα χρειαζόσουν άπειρα δεδομένα (την κατανομή σε κάθε στιγμή, σε κάθε ζεύγος στιγμών, κ.ο.κ.). Στην πράξη δεν το κάνουμε αυτό.

Αντί γι' αυτό, θα συνοψίζουμε κάθε ΤΔ με δύο ποσότητες:

1. τον μέσο $m_X(t)$ — που μόλις είδες (ο σταθμισμένος μέσος των τιμών σε κάθε στιγμή)·
2. την αυτοσυσχέτιση $R_X$ — μια καινούρια ποσότητα που μετράει πόσο «συγγενεύει» η τιμή του σήματος σε μια στιγμή με την τιμή του σε μια άλλη στιγμή.

Την αυτοσυσχέτιση δεν την ορίζουμε εδώ — χτίζεται από το μηδέν στο /randomness/random-processes. Για τώρα κράτα μόνο το εξής: δεν θα κουβαλάμε ολόκληρη την κατανομή· δύο συνόψεις — μέσος + αυτοσυσχέτιση — αρκούν για όλη την ανάλυση θορύβου του μαθήματος. Γιατί αρκούν (και πώς το φιλτράρισμα θορύβου γλιστράει σε μία μόνο γραμμή) θα το καταλάβεις μόλις έχεις στα χέρια σου την αυτοσυσχέτιση και τη Φασματική Πυκνότητα Ισχύος (PSD) — εδώ απλώς δείχνουμε πού πάμε.

7. Πλάνο: τι έρχεται στα επόμενα κεφάλαια

Η ομάδα Randomness εξελίσσεται σταδιακά — κάθε σελίδα χτίζει πάνω στην προηγούμενη:

1. /randomness/random-variables — γρήγορος οδηγός πάνω στις ΤΜ. Ορισμοί (PDF, CDF, μέσος, διασπορά), βασικές κατανομές (Gaussian, uniform, exponential), ιδιότητες (independence, joint distributions). Αν θυμάσαι «Πιθανότητες & Στατιστική», μπορείς να το διαβάσεις σαν recap.

2. /randomness/random-processes — η ιδέα της ΤΔ αναπτυγμένη: ορίζουμε mean function $m_X(t)$, αυτοσυσχέτιση $R_X(t_1,t_2)$, αυτοσυνδιακύμανση $C_X(t_1,t_2)$, ετεροσυσχέτιση $R_{X,Y}(t_1,t_2)$. Λύνουμε αναλυτικά το κλασικό παράδειγμα: $X(t)=A\cos (2\pi f_{0}t+\Theta )$ με $\Theta \sim U[0,2\pi )$.

3. /randomness/stationarity — πότε μια ΤΔ έχει «σταθερές ιδιότητες» στον χρόνο (WSS). Εργοδικότητα: πότε μετράμε από μία καταγραφή αντί για πολλές. Το παράδειγμα του slide 32 ($Z(t)=A\cos (2\pi ft+\theta )$ με $\theta \sim U[0,2\pi ]$ — WSS και εργοδική) λύνεται εκεί αναλυτικά.

4. /randomness/psd — η Φασματική Πυκνότητα Ισχύος $S_X(f)$. Σύνδεση με τη Wiener–Khinchin που είδαμε στο Fourier chapter: $S_X=\mathcal{F}\{R_X\}$. PSD για LTI έξοδο: $S_Y=S_X|H{|}^2$. Όλη η μηχανή που χρειάζεται η ομάδα Noise σε μία σελίδα.

Μετά μπαίνουμε στην ομάδα /noise όπου εφαρμόζουμε όλη αυτή τη μηχανή για να μελετήσουμε τι κάνει ο θόρυβος μέσα από φίλτρα και αποδιαμορφωτές — δηλαδή το πραγματικό SNR που πληρώνεις σε AM, DSB, SSB, FM. Εκεί καρπίζει η επένδυση που κάνεις σε αυτό το κεφάλαιο.

8. Εξάσκηση

Έξι έννοιες που θα ελέγξουν αν το λεξιλόγιο σού κάθεται. Δεν χρειάζονται μαθηματικά — μόνο σωστή ανάγνωση της ορολογίας. Αν δυσκολευτείς, ξαναπέρασε το §3 και §5.

9. Ανακάλεσε — γρήγορες ασκήσεις λεξιλογίου

10. Αναγνώρισε — σήματα στις εκφωνήσεις

11. Πού θα χρειαστείς αυτή τη μηχανή αργότερα

Κάθε σελίδα παρακάτω έχει σχετιστεί απευθείας με κάτι που μάθαμε εδώ — αναφέρομαι ρητά για να μη μου ξεφύγει η σύνδεση:

• /randomness/random-variables — κάθε ΤΔ σε σταθερό χρόνο είναι ΤΜ. Άρα ολόκληρη η μηχανή PDF/CDF/μέση τιμή που θα κάνεις εκεί είναι ακριβώς η «κάθετη ανάγνωση» του ensemble που είδες στο §4.
• /randomness/random-processes — εκεί αναπτύσσεται το παράδειγμα των slides 14-19 (Άσκηση 1 — δύο ΤΔ με τυχαία φάση και τυχαίο πλάτος) και υπολογίζονται αναλυτικά τα $m_X,m_Y,R_X,R_{X,Y},C_{X,Y}$.
• /randomness/stationarity — η εργοδικότητα που αναφέραμε στο §6 (slide 30) αναλύεται πλήρως· λύνεται και η Άσκηση 5 (slides 32-35) που δείχνει ότι η $Z(t)=A\cos (2\pi ft+\theta )$ είναι WSS και εργοδική.
• /randomness/psd — η Wiener–Khinchin $S_X=\mathcal{F}\{R_X\}$ (slide 36) και η μαγική γραμμή $S_Y=S_X|H{|}^2$ (slide 39) εκφράζονται πλήρως, με Fourier-pair gallery για συνηθισμένα $R_X(\tau )$.
• /noise/sources — ο θερμικός θόρυβος που μοτιβάρισε αυτή τη σελίδα ορίζεται ρητά ως ΤΔ με PSD $N_0/2$, με τις φυσικές παραμέτρους ($kT$).
• /noise/through-filters — η μηχανή «βάλε WSS θόρυβο στην είσοδο LTI και πάρε την ισχύ στην έξοδο» γίνεται μηχανική: $P_Y=\int S_N(f)|H(f){|}^{2}df$.
• /noise/bandpass — bandpass-noise σε I/Q components με $R_{n_I},R_{n_Q}$ — εφαρμογή του λεξιλογίου σε bandpass scenario.
• /noise/snr — Output SNR για AM/DSB/SSB/FM — όλα ζητούν αυτό το λεξιλόγιο.

Όλη η υπόλοιπη ομάδα Noise μιλάει με τους όρους που μάθαμε εδώ. Αν αυτή η σελίδα έγινε δική σου, η μαθηματική επένδυση για τις επόμενες 8 σελίδες είναι μικρή.