Closest Distances Ratio

Le Closest Distances Ratio est une métrique de densité locale.
Elle calcule la médiane du ratio entre la distance euclidienne entre un individu et son avatar le plus proche, et la distance entre ce même individu et son deuxième avatar le plus proche. Pour des raisons d'interprétabilité, la valeur obtenue est comparée à une valeur de référence. Le score final est un rapport entre la valeur de Closest Distances Ratio calculée sur les avatars et celle calculée sur un ensemble de données de référence. Ce score final permet d'évaluer si les avatars une densité autour des individus originaux qui est similaire à celle observée dans les données de référence.

L'approche est également appliquée aux outliers du jeu de données, en calculant le Closest Distances Ratio pour les individus ayant une faible densité autour d'eux (isolés).

Moitié de travail (WO), moitié de réserve (HO), avatars de travail (WA)

Cette métrique est basée sur une référence : elle compare l’anonymisation (WO vs ses avatars WA) à la variabilité naturelle des données réelles (WO vs une référence mise de côté HO).

• WO — moitié de travail originale : la partie des données originales qui est anonymisée.
• WA — avatars de travail : les avatars générés à partir de WO.
• HO — moitié de réserve originale : un second échantillon de données réelles, laissé intact, utilisé uniquement comme référence.

Sur les jeux de données suffisamment grands (par défaut ≥ 500 lignes), un holdout réel est mis de côté avant l’anonymisation ; sur les plus petits, un holdout approximatif est obtenu en divisant aléatoirement les données au moment du calcul des métriques. Voir la section « Évaluation avec une référence de holdout » du rapport d'évaluation technique.

Stratégie de comparaison (Holdout)

Pour réaliser le score final retourné à l'utilisateur, nous réalisons les étapes suivantes :

1. Obtention de la moitié de travail WO et d’une moitié de réserve HO disjointe à partir des données réelles (holdout réel ou approximatif — voir la note ci-dessus).
2. Utilisation des avatars de travail WA, générés à partir de WO.
3. Calcul de la métrique Closest Distances Ratio sur l’ensemble WO en utilisant WA comme base d’attaque. (pour le médiane et les outliers)
4. Calcul de la métrique Closest Distances Ratio sur l’ensemble WO en utilisant HO comme base d’attaque. (pour le médiane et les outliers)
5. Calcul du rapport entre les deux performances obtenues.

On obtient ainsi en sortie:

• Le rapport du Closest Distances Ratio médian entre les avatars et les données de référence.
• Le rapport du Closest Distances Ratio des outliers entre les avatars et les données de référence.

Interprétation du Closest Distances Ratio

La valeur du Closest Distances Ratio varie de 0 à 1 :

• Une valeur proche de 0 indique que la distance entre un individu et son plus proche voisin est nettement plus faible que celle avec son deuxième plus proche voisin. Cela suggère une forte capacité a former des paires individu-avatar distinctes, ce qui est défavorable pour la protection de la vie privée.
• Une valeur proche de 1 signifie que les distances entre l’individu et ses deux plus proches voisins sont similaires, ne permettant pas d’identifier de manière fiable une association entre donnée d'origine et avatar. Cela indique une bonne dissociation des avatars, favorable pour la protection de la vie privée.

La valeur du rapport du Closest Distances Ratio retourné à l'utilisateur s’interprète lui de la manière suivante :

• une valeur proche de 100 ou supérieur indique que la densité locale des avatars vis à vis des données originales est similaire à celle des données de référence, suggérant que le processus de génération des avatars ne permet pas d'identifier de manière fiable des associations entre donnée d'origine et avatar.
• une valeur très inférieure à 100 signifie que les avatars peuvent former des paires plus isolées avec les données d'origine que ce que l'on observe dans la variabilité naturelle du jeu de données.

Ces deux valeurs peuvent être interprétées de manière similaire pour la médiane comme pour les outliers.

Exemple

Prenons un jeu de données dont le Closest Distances Ratio est de 0,1.
Cela signifie que, pour un individu donné, la distance à son avatar le plus proche est en moyenne 10 fois plus petite que la distance à son deuxième avatar le plus proche. Cela indique une forte probabilité que cet avatar soit associé à cet individu, ce qui représente un risque élevé de réidentification.
Si le rapport du Closest Distances Ratio est de 50 %, cela signifie que la densité locale des données d'origine avec le plus proche avatar est deux fois plus propice à former des paires distinctes que ce que l'on observe dans les données de référence, ce qui suggère un risque accru de réidentification.

Spécificité de la métrique

Cette métrique prend tout son sens lorsqu’elle est utilisée conjointement avec la métrique Distance To Closest.
Un jeu de données est considéré comme à risque lorsque les deux métriques sont faibles :

• Une Distance To Closest faible indique que les avatars sont très proches des données originales.
• Un Closest Distances Ratio faible signifie que les paires individu-avatar sont facilement identifiables, ce qui augmente le risque de réidentification.

Formule

Pour chaque original de travail $x_i \in WO$, avec $d_{1,i}$ et $d_{2,i}$ les distances à son premier et à son deuxième plus proche enregistrement dans la base d'attaque :

$$r_i = \frac{d_{1,i}}{d_{2,i}} \quad (r_i = 1 \text{ si } d_{2,i} = 0)$$

Le ratio est calculé une fois avec les avatars de travail comme base d'attaque ($r^{WA}_i$) et une fois avec le holdout ($r^{HO}_i$) :

$$\text{Closest Distances Ratio} = 100 \times \frac{\text{médiane}_i\, r^{WA}_i}{\text{médiane}_i\, r^{HO}_i} \qquad \text{outlier} = 100 \times \frac{P_{2.5}\big(r^{WA}\big)}{P_{2.5}\big(r^{HO}\big)}$$

$P_{2.5}$ est le 2,5e centile (ratios les plus proches de 0). Lorsque la valeur de référence vaut 0, le score vaut 100. Les distances sont euclidiennes, calculées dans l'espace projeté de l'anonymisation ($ncp$ premières composantes).

Comment améliorer cette métrique ?

Pour améliorer le Closest Distances Ratio, il est recommandé d’augmenter la valeur de k, qui correspond au nombre de voisins pris en compte lors de la génération des données synthétiques.
En augmentant k, les avatars sont répartis de manière plus homogène, ce qui augmente la distance relative entre un individu et ses voisins, et réduit le risque de duplication dans le jeu de données.