In un articolo precedente abbiamo dimostrato la disuguaglianza di Markov e alcune sue conseguenze. In questo articolo la utilizziamo per derivare alcune conseguenze relative alla distribuzione chi quadro, note come diseguaglianze di concentrazione, perché quantificano la concentrazione della distribuzione di probabilità in una certa regione. Seguiamo queste dispense.
Supponiamo di avere $n$ variabili indipendenti normalmente distribuite $X_i \sim N(0,1)$ con media nulla e varianza uno. Allora per definizione la variabile casuale
$$Y = \sum_i X_i^2$$
è distribuita secondo la distribuzione chi quadro $\chi^2_n$ con $n$ gradi di libertà. Vogliamo dimostrare il risultato seguente:
Proposizione (disuguaglianze di concentrazione). Per ogni $0 < \epsilon < 1$ abbiamo
\begin{align}
\mathbb{P}(Y > n (1+\epsilon)) &\leq e^{-n \epsilon^2/8}\\
\mathbb{P}(Y < n (1-\epsilon)) &\leq e^{-n \epsilon^2/2}
\end{align}
Queste disuguaglianze parlano di un fenomeno molto importante noto come concentrazione della misura: ovvero se $n$ è molto grande, entrambi gli esponenziali sono molto piccoli; perciò come conseguenza di queste disuguaglianze la maggior parte della distribuzione di probabilità è concentrata nell’intervallo ristretto $[n(1-\epsilon), n(1+\epsilon)]$.
Dimostrazione. Partiamo dalla prima disuguaglianza. Se $a$ e $t$ sono positivi, abbiamo (utilizzando la disuguaglianza di Markov dell’articolo precedente, che consigliamo di leggere)
$$\mathbb{P}(Y > a) = \mathbb{P}( e^{t Y} > e^{ta}) \leq e^{-at} \mathbb{E}(e^{tY})$$
Usando le proprietà dell’esponenziale e il fatto che le $X_i$ sono indipendenti, il calcolo del valore atteso non è difficile,
$$\mathbb{E}(e^{tY}) = \prod_i \mathbb{E}(e^{t X_i^2}) = \bqty{\mathbb{E}(e^{t X^2})}^n$$
Abbiamo perciò
$$\mathbb{E}(e^{t X^2}) = \frac{1}{\sqrt{2\pi}} \int_{\R} e^{-x^2/2} e^{t x^2} dx = \frac{1}{\sqrt{2\pi}} \int_{\R} e^{-(1-2t) x^2/2} dx = \frac{1}{\sqrt{(1-2t)}}$$
L’integrale è di facile calcolo utilizzando la sostituzione $u = \sqrt{(1-2t)} x$ purché $1-2t > 0$. Sostituendo, segue che
$$\mathbb{P}(Y > a) \leq e^{-at} (1-2t)^{-n/2} = \exp{\pqty{-a t -\frac{n}{2} \log{(1-2t)} }}$$
Ci interessa porre $a= n(1+\epsilon)$, il che implica
$$\mathbb{P}(Y > n(1+\epsilon)) \leq \exp{\bqty{-n \pqty{ (1+\epsilon) t +\frac{1}{2} \log{(1-2t)} } }}$$
Vogliamo la disuguaglianza più stretta possibile, il che implica che vogliamo massimizzare la funzione
$$f(t) =(1+\epsilon) t +\frac{1}{2} \log{(1-2t)} $$
nell’intervallo $0 < t < 1/2$. Derivando troviamo il massimo nel punto
$$t_* = \frac{1}{2} -\frac12 \frac{1}{1+\epsilon}$$
dove la derivata è nulla, $f'(t_*)=0$. Il valore di $f$ in questo punto è
$$f(t_*) = \frac12 \epsilon -\frac12 \log(1+\epsilon)$$
Sostituendo otterremmo la disuguaglianza ottimale, che però contiene questo sgradevole fattore logaritmico (che non è poi così importante: contribuisce un fattore polinomiale davanti all’esponenziale). Per rimuoverlo, ci limitiamo ad ottenere una costante diversa $c$; purché $c \leq f(t_*)$ allora la disuguaglianza è valida. Congetturiamo la disuguaglianza per il logaritmo
$$\log(1+\epsilon) \leq \epsilon -\lambda \epsilon^2 $$
per $0 < \epsilon < 1$. La congettura è ragionevole immaginando di espandere il logaritmo in serie; il secondo termine sarebbe così con $\lambda = 1/2$. Poiché gli altri termini alternano in segno non li possiamo ignorare banalmente e quindi $1/2$ è improbabile. Perciò congetturiamo questa forma, e dalla dimostrazione troviamo il $\lambda$ ottimale. Consideriamo la funzione
$$g(\epsilon) = \log(1+\epsilon) -\epsilon +\lambda \epsilon^2$$
Notiamo che $g(0)=0$. Inoltre la derivata è
$$g'(\epsilon) = \frac{1}{1+\epsilon}-1 + 2\lambda\epsilon$$
Possiamo verificare che è positiva se la condizione $\lambda > 1/(2(1+\epsilon))$ è soddisfatta. A noi interessa che sia negativa, così partendo da $g(0)=0$ la funzione è decrescente e quindi sempre negativa; così la disuguaglianza è soddisfatta. Scegliamo quindi il $\lambda$ ottimale che è quello più grande che non soddisfi la disuguaglianza, ovvero $\lambda = 1/4$. Perciò abbiamo
$$\log(1+\epsilon) \leq \epsilon -\frac14\epsilon^2 $$
Ciò implica che possiamo sostituire il coefficiente di $n$ nell’esponenziale con $\frac18\epsilon^2$, ottenendo la disuguaglianza voluta:
$$\mathbb{P}(Y > n(1+\epsilon)) \leq \exp{\pqty{-n \epsilon^2/8 }}$$
Ora affrontiamo l’altra disuguaglianza. Abbiamo per un $s$ arbitrario positivo,
$$\mathbb{P}(Y < a) = \mathbb{P}( e^{-s Y} > e^{-s a}) \leq e^{as} \mathbb{E}(e^{-sY})$$
Il calcolo del valore atteso è praticamente lo stesso di prima e otteniamo
$$\mathbb{E}(e^{-sY}) = (1+2s)^{-n/2}$$
dove il calcolo è valido per per $1+2s > 0$ cioè sempre. Sostituendo otteniamo
$$\mathbb{P}(Y < n(1-\epsilon)) \leq \exp{\bqty{n \pqty{s (1-\epsilon) -\frac{1}{2} \log(1+2s)} }}$$
Poiché a differenza di prima non abbiamo un meno davanti, stavolta dobbiamo trovare il minimo di
$$f(s) = s (1-\epsilon) -\frac{1}{2} \log(1+2s)$$
nell’intervallo $s \in (0, \infty)$. In questo caso la derivata è nulla nel punto
$$s_* = \frac{\epsilon/2}{1-\epsilon}$$
dove abbiamo
$$f(s_*) = \frac12 \epsilon +\frac12 \log(1-\epsilon)$$
Di nuovo per eliminare il logaritmo possiamo utilizzare la disuguaglianza
$$\log(1-\epsilon) \leq -\epsilon -\frac12 \epsilon^2$$
che questa volta segue direttamente dall’espansione in serie del logaritmo. Perciò abbiamo
$$f(s_*) = \frac12 \epsilon +\frac12 \log(1-\epsilon) \leq -\epsilon^2/2$$
che implica il risultato voluto,
$$\mathbb{P}(Y < n(1-\epsilon)) \leq e^{-n \epsilon^2/2}$$
Ciò conclude la dimostrazione. $\square$
È anche possibile combinare i due risultati. Chiamiamo $A$ e $B$ rispettivamente gli eventi $Y > n(1+\epsilon)$ e $Y < n(1-\epsilon)$. Allora
$$\mathbb{P}(n(1-\epsilon) < Y < n(1+\epsilon)) = \mathbb{P}(\overline{A} \cap \overline{B})$$
dove la barra denota negazione: ovvero entrambe le disuguaglianze devono essere false. Dalle leggi generali della probabilità abbiamo
$$ \mathbb{P}(\overline{A} \cap \overline{B}) = \mathbb{P}(\overline{A}) + \mathbb{P}(\overline{B})-\mathbb{P}(\overline{A} \cup \overline{B})$$
Ma abbiamo $\mathbb{P}(\overline{A}) = 1-\mathbb{P}(A)$ e similmente per $B$. Inoltre usando le leggi di De Morgan,
$$\mathbb{P}(\overline{A} \cup \overline{B}) = \mathbb{P}(\overline{A \cap B}) = 1-\mathbb{P}(A \cap B) = 1$$
poiché è impossibile che $A$ e $B$ siano soddisfatte simultaneamente. Sostituendo perciò abbiamo
$$ \mathbb{P}(\overline{A} \cap \overline{B}) = 1-\mathbb{P}(A)-\mathbb{P}(B)$$
Utilizzando perciò le disuguaglianze che abbiamo ottenuto, troviamo
$$\mathbb{P}(A)+\mathbb{P}(B) \leq e^{-n \epsilon^2/8}+e^{-n \epsilon^2/2} \leq 2 e^{-n \epsilon^2/8}$$
E quindi
$$\mathbb{P}(n(1-\epsilon) < Y < n(1+\epsilon)) \geq 1-2e^{-n \epsilon^2/8}$$
Quest’ultima disuguaglianza tornerà utile in un prossimo articolo.