Mutual Information

L’Mutual Information (MI) mesure la dépendance entre deux variables en quantifiant la quantité d’information obtenue sur l’une en connaissant l’autre. Contrairement à la corrélation de Pearson, l’MI fonctionne aussi bien avec des variables numériques que catégorielles. Elle repose sur des distributions de probabilité plutôt que sur des corrélations directes, ce qui lui permet de capturer des dépendances non linéaires.

Mathématiquement, l’MI est définie par :

$MI(X, Y) = \sum_{x \in X} \sum_{y \in Y} p(x, y) \log \left( \frac{p(x, y)}{p(x) p(y)} \right)$

où :

• $p(x, y)$ est la fonction de masse de probabilité conjointe (PMF) de $X$ et $Y$.
• $p(x)$ et $p(y)$ sont les fonctions de masse marginales de $X$ et $Y$.

L’Variation of Information (VI) est une mesure dérivée de l’MI, qui normalise les valeurs de dépendance entre 0 (dépendance totale) et 1 (indépendance complète).

Mathématiquement, VI est définie par :

$$VI(X, Y) = 1 - \frac{MI(X, Y)}{H(X, Y)}$$

où $H(X, Y)$ est l'entropie de Shannon conjointe de $X$ et $Y$ :

$$H(X, Y) = - \sum_{x \in X} \sum_{y \in Y} p(x, y) \log p(x, y)$$

Interprétation de l’Mutual Information et de l’Information de Variation

• MI élevée : forte dépendance entre les variables.
• MI faible : dépendance faible.
• VI = 0 : une variable explique parfaitement l’autre.
• VI = 1 : les variables sont complètement indépendantes.

Exemple

Considérons un jeu de données avec deux variables :

• « Heures d’étude » (X)
• « Note à l’examen » (Y)

Dans le jeu de données original, supposons que la Mutual Information entre ces variables soit de 0,85, indiquant une forte relation.

Après transformation, si la MI chute à 0,40, cela signifie qu’une part importante d’information a été perdue, rendant le jeu de données transformé moins fiable pour prédire les notes.

Concernant l’Information de Variation :

• Si $VI_{\text{original}} = 0,2$ et $VI_{\text{transformé}} = 0,6$, cela signifie que la dépendance entre heures d’étude et notes a été affaiblie dans le jeu de données transformé.

Spécificités du métrique

Avantages :

• Contrairement à la corrélation de Pearson, s’applique aux variables catégorielles et numériques.
• Détecte les relations non linéaires.
• Insensible aux valeurs aberrantes.

Limites :

• Calcul plus coûteux en ressources.
• Plus difficile à interpréter que les coefficients de corrélation (échelle non linéaire).

Formule

Avec $p(x, y)$ la fonction de masse conjointe de deux variables (grille de 20 × 20 classes pour deux variables numériques ; pour une variable numérique et une catégorielle, un histogramme de 20 classes de la variable numérique dans chaque catégorie ; fréquences observées pour deux variables catégorielles), et des logarithmes naturels :

$$MI(X, Y) = \sum_{x}\sum_{y} p(x, y) \ln \frac{p(x, y)}{p(x)\,p(y)} \qquad H(X, Y) = -\sum_{x}\sum_{y} p(x, y) \ln p(x, y)$$ $$VI(X, Y) = 1 - \frac{MI(X, Y)}{H(X, Y)} \quad (VI = 0 \text{ si } H(X, Y) = 0)$$

Pour comparer deux jeux de données, les matrices de variation d'information sont comparées sur les $p(p-1)/2$ paires de variables :

$$\text{score VI} = \frac{2}{p(p-1)} \sum_{i > j} \left| VI^{\text{orig}}_{ij} - VI^{\text{avatar}}_{ij} \right|$$

Comment améliorer ce métrique ?

Pour améliorer la similarité de l’Mutual Information, vous pouvez ajuster le paramètre k pour mieux aligner les distributions.

Vous pouvez également appliquer des projections pondérées en accordant plus d’importance aux variables critiques lors de la génération des données.

Enfin, un traitement ciblé en fonction des caractéristiques des variables peut renforcer la conservation des dépendances.

N’hésitez pas à utiliser des métriques alternatives (comme l’Mutual Information) si vos données contiennent des relations non linéaires ou des variables catégorielles.