Correlation Difference Ratio

Le Correlation Difference Ratio compare la préservation de la structure de corrélation entre une moitié du jeu de données original et sa version avatarisée, par rapport à la structure de corrélation entre les deux moitiés du jeu de données original. Pour des raisons d'interprétabilité, il utilise la variabilité naturelle des données comme référence.

Pour les deux comparaisons, il calcule la différence absolue moyenne des coefficients de corrélation sur l'ensemble des paires de variables numériques.

Moitié de travail (WO), moitié de réserve (HO), avatars de travail (WA)

Cette métrique est basée sur une référence : elle compare l’anonymisation (WO vs ses avatars WA) à la variabilité naturelle des données réelles (WO vs une référence mise de côté HO).

• WO — moitié de travail originale : la partie des données originales qui est anonymisée.
• WA — avatars de travail : les avatars générés à partir de WO.
• HO — moitié de réserve originale : un second échantillon de données réelles, laissé intact, utilisé uniquement comme référence.

Sur les jeux de données suffisamment grands (par défaut ≥ 500 lignes), un holdout réel est mis de côté avant l’anonymisation ; sur les plus petits, un holdout approximatif est obtenu en divisant aléatoirement les données au moment du calcul des métriques. Voir la section « Évaluation avec une référence de holdout » du rapport d'évaluation technique.

Stratégie de comparaison (Holdout)

Pour calculer le score final retourné à l'utilisateur, nous effectuons les étapes suivantes :

1. Obtention de la moitié de travail WO et d’une moitié de réserve HO disjointe à partir des données réelles (holdout réel ou approximatif — voir la note ci-dessus).
2. Utilisation des avatars de travail WA, générés à partir de WO.
3. Calculer la différence absolue moyenne des coefficients de corrélation entre WO et WA (différence avatar).
4. Calculer la différence absolue moyenne des coefficients de corrélation entre WO et HO (différence de référence).
5. Calculer le ratio : reference_difference / avatar_difference × 100, plafonné à 100.

Interprétation du Correlation Difference Ratio

Le résultat estime le pourcentage de préservation de la corrélation de référence obtenu par avatarisation :

• Plus la valeur est proche de 100, plus les avatars préservent la structure de corrélation naturelle du jeu de données.
• Des valeurs proches de 100 indiquent que les corrélations des avatars s'écartent des corrélations originales autant que les deux moitiés du jeu de données original diffèrent l'une de l'autre — bonne rétention de la structure de corrélation.
• Des valeurs inférieures à 100 indiquent que les corrélations des avatars divergent davantage des corrélations originales que ne le suggère la variabilité naturelle — dégradation de la structure de corrélation.

Spécificités de la métrique

Avantages :

• Utilise la variabilité naturelle du jeu de données comme référence, rendant le résultat plus interprétable qu'une différence brute.
• Fournit un score borné entre 0 et 100.
• Interprétation intuitive en pourcentage.

Limites :

• Ne s'applique qu'aux variables numériques.
• Ne prend pas en compte les relations non linéaires.
• Plus susceptible de fluctuer sur les petits jeux de données (moins de 200 lignes), où la variance d'échantillonnage peut rendre le score moins stable et plus difficile à interpréter.

Formule

Pour deux matrices de corrélation de Pearson $A$ et $B$ sur $p$ variables numériques, l'écart moyen sur les paires de variables, en pourcentage :

$$\Delta(A, B) = \frac{1}{p(p-1)} \sum_{i \neq j} 100 \times \frac{\left|A_{ij} - B_{ij}\right|}{2}$$

Avec $N$ le nombre de lignes de $WO$, la référence est augmentée sur les grands jeux de données, où l'écart entre deux échantillons réels diminue :

$$\kappa = \begin{cases} \sqrt{N / 2000} & N > 2000 \\ 1 & \text{sinon} \end{cases} \qquad \text{Correlation Difference Ratio} = \min\!\left(100,\; 100 \times \frac{\kappa\,\Delta(R^{WO}, R^{HO})}{\Delta(R^{WO}, R^{WA})}\right)$$

Le score vaut 100 lorsque $\Delta(R^{WO}, R^{WA}) = 0$.

Comment améliorer ce métrique ?

Pour améliorer le score du Correlation Difference Ratio, vous pouvez ajuster le paramètre k afin d'aligner plus précisément les distributions. Il est aussi possible d'utiliser des projections pondérées en attribuant une importance plus élevée aux variables critiques lors de la génération des données. Enfin, un traitement ciblé par variable selon leurs caractéristiques peut améliorer la conservation des corrélations.

Si votre jeu de données contient des relations non linéaires ou des variables catégorielles, il est conseillé d’utiliser des métriques alternatives comme la mutual information.