Randomness · 2·~18 min read·🟢 Light exam — recap

Random variables — γρήγορος οδηγός

Χρειάζεσαι:Γιατί χρειαζόμαστε πιθανότητα

Το πιθανώς ήδη το έχεις δει σε άλλο μάθημα (Πιθανότητες & Στατιστική). Εδώ κάνουμε γρήγορο recap εστιασμένο σε όσα χρειαζόμαστε για το random processes chapter που έρχεται.

1. Τι είναι μια τυχαία μεταβλητή

Μια τυχαία μεταβλητή (random variable) $X$ είναι ένας αριθμός που παίρνει την τιμή του από ένα τυχαίο πείραμα. Παραδείγματα:

Ρίξε νόμισμα: $X = 0$ αν κορώνα, $X = 1$ αν γράμματα.
Μέτρα τη θερμοκρασία ενός αντιστάτη: $X$ = η ένδειξη του βολτομέτρου σε ένα τυχαίο πείραμα.
Δες το επόμενο sample θορύβου από έναν δέκτη: $X$ = η τιμή του στο επόμενο millisecond.

Σημαντική διάκριση:

$X$ (κεφαλαίο) — η τυχαία μεταβλητή ως αντικείμενο (αφηρημένη έννοια).
$x$ (πεζό) — μια συγκεκριμένη τιμή που πήρε σε ένα δείγμα.

Αυτή η σύμβαση εμφανίζεται παντού στον υπόλοιπο σύλλογο.

2. CDF και PDF

Η cumulative distribution function (CDF) δίνει την πιθανότητα η RV να είναι ≤ από κάποιο όριο:

F_{X} (x) = P (X \leq x)

Πάντα μη-φθίνουσα, με $F_{X} (- \infty) = 0$ και $F_{X} (+ \infty) = 1$ .

Η probability density function (PDF) είναι η παράγωγός της:

f_{X} (x) = \frac{d F _{X} ( x )}{d x}

Πάντα $f_{X} (x) \geq 0$ και $\int_{- \infty}^{\infty} f_{X} (x) d x = 1$ .

Ερμηνεία: η πιθανότητα η RV να βρίσκεται σε ένα μικρό διάστημα γύρω από $x$ είναι περίπου $f_{X} (x) \cdot d x$ . (Όχι «η πιθανότητα να είναι $x$ » — αυτή είναι 0 για συνεχείς RVs.)

Για διακριτές RVs χρησιμοποιούμε τη probability mass function (PMF) $P (X = x_{i}) = p_{i}$ αντί για PDF.

3. Μέσος και διασπορά

Expectation (μέσος, mean) — το αριθμητικό «κέντρο» της κατανομής:

μ_{X} = E [X] = \int_{- \infty}^{\infty} x f_{X} (x) d x

(ή $\sum_{i} x_{i} p_{i}$ για διακριτές.)

Variance (διασπορά) — η μέση τετραγωνική απόκλιση από τον μέσο:

σ_{X}^{2} = Var (X) = E [(X - μ_{X})^{2}] = E [X^{2}] - μ_{X}^{2}

Standard deviation: $σ_{X} = σ_{X}^{2}$ .

Mean square value:

E [X^{2}] = \int_{- \infty}^{\infty} x^{2} f_{X} (x) d x = μ_{X}^{2} + σ_{X}^{2}

Σημαντική για ισχύ: αν $X$ είναι μια στιγμιαία τιμή σήματος, τότε το $E [X^{2}]$ είναι η μέση ισχύς του σήματος.

Linearity (γραμμικότητα)

Για οποιεσδήποτε σταθερές $a, b$ και RVs $X, Y$ :

E [a X + bY] = a E [X] + b E [Y]

Πάντα ισχύει — ανεξάρτητα από το αν τα $X, Y$ είναι ανεξάρτητα μεταξύ τους.

Για variance όμως: μόνο αν $X, Y$ ανεξάρτητα ισχύει

Var (a X + bY) = a^{2} Var (X) + b^{2} Var (Y)

4. Κύριες κατανομές

Uniform U(a, b)

PDF: $f_{X} (x) = 1/ (b - a)$ για $x \in [a, b]$ , αλλιώς 0.

$E [X] = (a + b) /2$
$Var (X) = (b - a)^{2} /12$

Συχνή χρήση: η τυχαία φάση $Θ \sim U (0, 2 π)$ στις διαμορφώσεις, οποτεδήποτε δεν έχουμε προτίμηση φάσης.

Gaussian / Normal N(μ, σ²)

f_{X} (x) = \frac{1}{σ 2 π} e^{- (x - μ)^{2} / (2 σ^{2})}

$E [X] = μ$
$Var (X) = σ^{2}$
68% της μάζας μέσα σε $\pm σ$ , 95% σε $\pm 2 σ$ , 99.7% σε $\pm 3 σ$ .

Πανταχού παρούσα στα συστήματα επικοινωνιών:

Ο θερμικός θόρυβος είναι Gaussian (από το Central Limit Theorem — ο θόρυβος είναι άθροισμα πολλών ανεξάρτητων ηλεκτρικών διεγέρσεων).
Πολλά τυχαία σήματα προσεγγίζονται ως Gaussian.

Exponential

f_{X} (x) = λ e^{- λ x} για x \geq 0

$E [X] = 1/ λ$
$Var (X) = 1/ λ^{2}$

Χρήση: χρόνοι μεταξύ τυχαίων γεγονότων (π.χ. arrivals ζητημάτων σε ένα δίκτυο).

Bernoulli, Binomial, Poisson

Διακριτές κατανομές. Δεν τις χρειάζεται κατ' ανάγκη το K21 — αλλά καλό είναι να τις γνωρίζεις:

Bernoulli(p): $P (X = 1) = p$ , $P (X = 0) = 1 - p$ . Νόμισμα.
Binomial(n, p): άθροισμα n ανεξάρτητων Bernoulli. Πόσες κορώνες σε n ρίψεις.
Poisson(λ): αριθμός γεγονότων σε σταθερό διάστημα όταν ο ρυθμός είναι λ.

5. Joint distributions, independence

Για δύο RVs $X, Y$ :

Joint PDF: $f_{X, Y} (x, y)$ . Πιθανότητα ότι $(X, Y)$ είναι σε μικρή περιοχή γύρω από $(x, y)$ είναι $\approx f_{X, Y} (x, y) d x d y$ .

Marginals:

f_{X} (x) = \int f_{X, Y} (x, y) d y

Independence: $X, Y$ είναι ανεξάρτητα αν και μόνο αν

f_{X, Y} (x, y) = f_{X} (x) f_{Y} (y)

για όλα τα $x, y$ . Σε αυτή την περίπτωση και:

E [X Y] = E [X] E [Y]

6. Correlation και covariance

Covariance:

Cov (X, Y) = E [(X - μ_{X}) (Y - μ_{Y})] = E [X Y] - μ_{X} μ_{Y}

Αν $X, Y$ ανεξάρτητα → $Cov (X, Y) = 0$ .
Αλλά το αντίστροφο δεν ισχύει πάντα — δύο RVs μπορεί να έχουν zero covariance και να μην είναι ανεξάρτητες (μη γραμμική σχέση).
Για Gaussian RVs ισχύει το αντίστροφο: zero covariance ⇔ ανεξαρτησία.

Correlation coefficient:

ρ_{X Y} = \frac{Cov ( X , Y )}{σ _{X} σ _{Y}} \in [- 1, 1]

$ρ = 1$ : γραμμικά ανάλογα ( $Y = a X + b$ , $a > 0$ )
$ρ = - 1$ : γραμμικά αντιστρόφως ανάλογα
$ρ = 0$ : γραμμικά ασύσχετα

7. Συνάρτηση τυχαίας μεταβλητής

Αν $Y = g (X)$ είναι μια ντετερμινιστική συνάρτηση μιας RV, τότε:

E [g (X)] = \int g (x) f_{X} (x) d x

(Law of the unconscious statistician — δεν χρειάζεται να βρούμε πρώτα την $f_{Y} (y)$ .)

Παραδείγματα:

$E [cos Θ]$ όπου $Θ \sim U (0, 2 π)$ :
$E [cos Θ] = \int_{0}^{2 π} cos θ \cdot \frac{1}{2 π} d θ = 0$
$E [cos^{2} Θ]$ όπου $Θ \sim U (0, 2 π)$ :
$E [cos^{2} Θ] = \int_{0}^{2 π} cos^{2} θ \cdot \frac{1}{2 π} d θ = \frac{1}{2}$

Αυτές οι δύο ταυτότητες θα τις χρησιμοποιήσουμε ξανά και ξανά για τη random-phase cosine.

8. Σύνοψη

Έννοια	Τύπος
CDF	$F_{X} (x) = P (X \leq x)$
PDF	$f_{X} (x) = d F_{X} / d x$
Mean	$μ_{X} = \int x f_{X} d x$
Mean square	$E [X^{2}] = \int x^{2} f_{X} d x$
Variance	$σ_{X}^{2} = E [X^{2}] - μ_{X}^{2}$
Linearity (always)	$E [a X + bY] = a E [X] + b E [Y]$
Variance sum (indep only)	$Var (a X + bY) = a^{2} Var (X) + b^{2} Var (Y)$
Covariance	$Cov (X, Y) = E [X Y] - μ_{X} μ_{Y}$
Indep ⇒ uncorrelated	(πάντα)
Uncorrelated ⇒ indep	(μόνο για Gaussian)
LOTUS	$E [g (X)] = \int g (x) f_{X} (x) d x$

Εξάσκηση

0 / 5 λυμένα

Πέντε ερωτήσεις πάνω στις τυχαίες μεταβλητές — τις βασικές που πρέπει να ξέρεις πριν προχωρήσεις σε random processes.

Τι μάθαμε

Μια τυχαία μεταβλητή χαρακτηρίζεται από την PDF (ή CDF). Από αυτές παίρνεις mean, variance, και κάθε άλλη στατιστική.
Οι σημαντικότερες κατανομές για το K21: Uniform (τυχαία φάση), Gaussian (θερμικός θόρυβος, CLT).
Linearity πάντα ισχύει για mean, αλλά για variance χρειάζεσαι ανεξαρτησία.
Independence ⇒ zero covariance, αλλά zero covariance δεν συνεπάγεται γενικά independence (εκτός από Gaussian).
Στο επόμενο κεφάλαιο εφαρμόζουμε αυτές τις έννοιες σε σήματα — έχουμε μια διαφορετική RV $X (t)$ σε κάθε χρονική στιγμή.

Επόμενο

Random processes

Φόρτωση σχολίων…