La disuguaglianza di Gibbs afferma che l’entropia di una distribuzione di probabilità è sempre minore della sua entropia incrociata con un’altra distribuzione. Supponiamo di avere una distribuzione di probabilità $P$ che assegna una probabilità $p_i$ a dei possibili eventi indicizzati da un indice $i$. Possiamo supporre senza perdita di generalità che $p_i>0$. L’entropia della distribuzione è la funzione
$$H[P] = -\sum_{i} p_i \log{p_i}$$
È a volte chiamata entropia di von Neumann, o di Shannon, in ambiti diversi. L’entropia incrociata è invece definita tra due distribuzioni diverse $P$ e $Q$ sullo stesso spazio di eventi, ed è data da
$$H[P,Q] = -\sum_{i} p_i \log{q_i}$$
Chiaramente se lo spazio degli eventi è continuo, possiamo rimpiazzare la somma con un integrale. La disuguglianza di Gibbs afferma che per ogni $Q$,
$$H[P] \leq H[P, Q]$$
con uguaglianza se e solo se le due distribuzioni sono identiche, $P=Q$. Per dimostrare la disuguaglianza, notiamo che possiamo riscriverla semplicemente come
$$\sum_{i} p_i \log{\pqty{\frac{p_i}{q_i}}} \geq 0$$
La quantità nel membro sinistro è nota come divergenza di Kullback-Leibler,
$$D_{\mathrm{KL}}(P || Q) \equiv \sum_{i} p_i \log{\pqty{\frac{p_i}{q_i}}} $$
Perciò la disuguaglianza di Gibbs è equivalente a dire che la divergenza di Kullback-Leibler è positiva, ed è nulla se e solo se le due distribuzioni sono identiche.
Per procedere con la dimostrazione, dimostriamo prima di tutto che $\log{x} \leq x-1$ per ogni $x >0$ con uguaglianza se e solo se $x=1$. In particolare, per $y > 0$ sappiamo bene che $e^y \geq 1+y$, che è evidente dall’espansione in serie dell’esponenziale. In realtà questa formula è valida per ogni $y$. In particolare, consideriamo la funzione $f(y) = e^y -(1+y)$. Derivando abbiamo $f'(y)=e^y-1$ che è nulla solo in $y=0$. Inoltre $f^{\prime\prime}(0)=e^0=1 > 0$ perciò questo punto è un minimo; inoltre $f(y) \to +\infty$ per $y\to \pm \infty$, quindi il minimo è globale ed è unico. Perciò $e^y \geq 1+y$ per ogni $y$ reale, con uguaglianza se e solo se $y=0$. Ora se $1+y \geq 0$ calcoliamo il logaritmo di entrambi i lati e troviamo $y \geq \log{(1+y)}$, essendo il logaritmo monotono crescente. Sostituiamo quindi $x=1+y$ e otteniamo la disuguaglianza richiesta inizialmente: $\log{x} \leq x-1$ per ogni $x >0$ con uguaglianza se e solo se $x=1$.
Una volta dimostrato questo fatto, abbiamo in particolare che $-\log{x} \geq 1-x$ e quindi
$$\sum_{i} p_i \log{\pqty{\frac{p_i}{q_i}}} = -\sum_{i} p_i \log{\pqty{\frac{q_i}{p_i}}} \geq \sum_{i} p_i \pqty{1-\frac{q_i}{p_i}} = \sum_{i} p_i -\sum_i q_i = 1-1=0$$
dove abbiamo utilizzato la normalizzazione delle probabilità. Perciò la disuguaglianza è soddisfatta. Inoltre abbiamo uguaglianza se e solo se ognuna delle disuguaglianze che abbiamo utilizzato sono uguaglianze, ovvero se $p_i/q_i=1$ e quindi $P=Q$.