Évaluation Technique
L'évaluation technique se concentre sur le risque résiduel de réidentification d'un jeu de données. Ce rapport est purement technique et repose sur les trois critères définis par le Comité Européen de la Protection des Données (CEPD) qui sont évalués à l'aide de métriques de confidentialité.
Ces métriques, de l'état de l'art, miment des scénarios d'attaque pour évaluer concrètement :
- L'individualisation (Singling out)
- La corrélation (Linkability)
- L'inférence (Inference)
Bien que crucial, ce rapport peut être complexe à interpréter pour des profils juridiques ou non techniques. Son objectif est de fournir une mesure quantitative du risque de réidentification face à divers scénarios d'attaque.
Évaluation avec une référence de holdout
Plusieurs métriques de confidentialité et d’utilité (signal) sont basées sur une référence : elles mesurent à quel point l’anonymisation modifie les données par rapport à leur propre variabilité naturelle. Pour fournir cette référence, le jeu de données original est divisé en deux moitiés :
- Moitié de travail (WO) — la moitié qui est anonymisée. Sa contrepartie anonymisée est constituée des avatars de travail (WA).
- Moitié de réserve (HO) — un second échantillon de données réelles, laissé intact et mis de côté uniquement comme référence. Il n’est jamais anonymisé.
Chaque métrique basée sur une référence effectue alors deux comparaisons et exprime l’une par rapport à l’autre :
- la comparaison d’anonymisation — WO comparé à WA (les données réelles comparées à leurs avatars), et
- la comparaison de référence — WO comparé à HO (deux échantillons indépendants de données réelles).
Comme WO et HO sont deux échantillons disjoints de la même population, la comparaison WO-vs-HO capture l’écart attendu entre deux échantillons quelconques des données réelles — leur variabilité naturelle. Exprimer la comparaison d’anonymisation par rapport à cette référence rend la métrique interprétable : une valeur proche de 100 % signifie que les avatars diffèrent des données originales à peu près autant que deux échantillons de données réelles diffèrent entre eux.
Holdout réel vs approximatif
- Holdout réel — lorsque le jeu de données est suffisamment grand (par défaut, au moins 500 lignes), une véritable réserve est mise de côté avant l’anonymisation : seul WO est anonymisé et HO n’est jamais vu par l’algorithme. C’est la référence la plus fidèle et le mode privilégié.
- Holdout approximatif — pour les jeux de données plus petits, où réserver un holdout réel laisserait trop peu de lignes à anonymiser, la référence est approximée en divisant aléatoirement en deux les données originales disponibles au moment du calcul des métriques. Ceci réutilise des données que l’algorithme a déjà vues, la référence est donc légèrement optimiste.
Le rapport technique généré indique, à côté des résultats de chaque table, la stratégie utilisée.
Quelles métriques utilisent la référence de holdout
Basées sur une référence (calculées sur WO / WA / HO) : Distance to closest, Closest distances ratio, Closest rate, Membership inference et Attribute inference (confidentialité) ; Hellinger mean et Correlation difference ratio (utilité).
Calculées sur l’intégralité du jeu de données vs ses avatars (sans référence de holdout) : Hidden rate, Local cloaking, Direct match protection, Knowledge protection et Linkability protection.
Lorsqu'un jeu de données est trop volumineux pour être anonymisé en une seule passe, il peut être découpé en plusieurs lots pour améliorer l'efficacité — chaque lot est anonymisé indépendamment. L'intégralité du jeu de données est anonymisée sur l'ensemble des lots, mais ces métriques sont calculées sur le premier lot uniquement, comme échantillon représentatif. Voir Traitement par lots.