Aller au contenu principal

Étape 1 : Préparer les données

Préparer votre jeu de données avant l’anonymisation est une étape cruciale pour garantir des résultats de haute qualité. Cette étape a l’impact le plus important sur la qualité du jeu de données généré. Comme le processus d’anonymisation est relativement court, nous recommandons de consacrer la majeure partie du temps de projet à la préparation des données.

Ce guide décrit les étapes nécessaires et recommandées pour structurer vos données en vue d’une anonymisation optimale. Certaines étapes de prétraitement peuvent être réalisées directement dans l’outil.

Étapes de prétraitement obligatoires​

Pour garantir la compatibilité avec le processus d’anonymisation Avatar, votre jeu de données doit respecter les exigences suivantes :

  • Traiter les identifiants directs : Les noms, numéros de sécurité sociale, adresses e-mail et autres identifiants directs ne doivent pas être anonymisés comme des variables classiques. Configurer la pseudonymisation pour ces colonnes : elles sont mises de côté avant l'anonymisation et remplacées par des substituts dans le résultat. Conserver les clés primaires et étrangères et les déclarer comme identifiants dans les usages multi-tables : la plateforme les gère et préserve les liens entre les tables. Ne supprimer que les colonnes d'identifiants inutiles dans le résultat.
  • Formats de fichiers supportés : Fournir les données au format Parquet, CSV ou Pandas DataFrame. Si vous utilisez CSV, assurez-vous qu’il soit séparé par des virgules.
  • Standardiser le format des dates : Convertir toutes les valeurs de date au format AAAA-MM-JJ.
  • Standardiser le format des valeurs manquantes : Uniformiser toutes les valeurs manquantes.
  • Données structurées uniquement : La méthode supporte les données tabulaires et structurées. Les textes libres, audios ou vidéos doivent être supprimés ou transformés au préalable.
  • Standardiser les tables pour bases relationnelles :

Étapes de prétraitement recommandées​

Bien que non obligatoires, les bonnes pratiques suivantes améliorent la qualité de l’anonymisation :

  • Supprimer les variables calculées et recalculer ensuite : Éviter les variables dérivées qui peuvent introduire des redondances et affecter la qualité de l’anonymisation (ex. IMC calculé à partir du poids et de la taille).
  • Exprimer les relations sous forme de différences : Lorsque pertinent, exprimer les relations entre variables par des différences plutôt que des valeurs absolues. Par exemple, une date de fin doit être exprimée comme le nombre de jours depuis une date de début pour garantir la cohérence chronologique.
  • Transformer les colonnes numériques à faible cardinalité : Convertir les colonnes numériques avec moins de 20 valeurs uniques en variables catégorielles.
  • Vectoriser les colonnes catégorielles à forte cardinalité : Convertir les colonnes catégorielles avec un grand nombre de modalités en vecteurs numériques.
  • Regrouper les modalités uniques : Convertir toutes les modalités uniques d’une variable catégorielle en une seule modalité afin d’éviter la distorsion dans la projection et prévenir les faiblesses liées aux attaques par inférence d’appartenance.
  • Veiller à ne pas avoir de types mixtes : En cas de variable à types mixtes (ex. "< 0", 1, 2, 3), la méthode la considère automatiquement comme catégorielle. Merci de convertir en type correct en amont.

La solution Avatar inclut des outils intégrés, appelés Processors, pour aider dans ces étapes de prétraitement. Vous pouvez configurer les processors suivants :

Processors Configurables (optionnels, pour les cas d'usage spécifiques) :

Processors Automatiques (appliqués de manière transparente sans configuration) :

  • Traitement Automatique — Découvrez la gestion automatique des données : données manquantes, conversion datetime, préservation des types, précision décimale, transformation de variables asymétriques, et plus

Recommandations Multi-Tables :

  • Fusionner les relations un-à-un : Lorsque deux tables ont une relation un-à-un, envisagez de les joindre en une seule table pour simplifier le schéma.
  • Diviser les grandes tables hétérogènes : Si une table combine plusieurs sources d’information, divisez-la en tables séparées avec des objectifs clairs. Par exemple, divisez une table "visite" complète en tables "patient" et "visite" distinctes.
  • Choisir les paramètres de liaison avec soin : Sélectionnez les paramètres de liaison en fonction des relations inter-tables que vous devez préserver dans les données anonymisées.

Prétraitement spécifique aux bases relationnelles et séries temporelles​

Pour les cas d’usage avec bases relationnelles ou séries temporelles (i.e. plusieurs enregistrements par individu), les tables doivent respecter les contraintes structurelles suivantes :

Chaque table doit contenir au moins une variable identifiant, appelée clé primaire, avec une valeur unique par ligne.

Les relations entre tables sont établies via des clés étrangères, qui réfèrent à la clé primaire d’une autre table. Contrairement aux clés primaires, les clés étrangères n’ont pas besoin d’être uniques dans leur table, permettant à plusieurs lignes de pointer vers la même entité.

Dimensionnalité recommandée​

Plus un jeu est structuré horizontalement (c’est-à-dire avec un ratio élevé entre nombre de variables et nombre d’enregistrements), plus il est probable que les propriétés statistiques soient impactées à niveau de confidentialité égal. Ceci est particulièrement vrai pour les jeux avec peu d’individus et beaucoup de variables. Pour atténuer cet effet, nous recommandons d’inclure uniquement les variables nécessaires au cas d’usage identifié, plutôt que d’anonymiser un jeu de données destiné à plusieurs usages.

Étape suivante : lancer l’anonymisation​

Une fois vos données préparées, passez à la section Lancer l'anonymiation pour exécuter le processus d’anonymisation. Gardez en tête que l’optimisation est un processus itératif. Après avoir évalué les résultats, vous pourrez affiner la préparation pour améliorer la qualité et l’équilibre entre données et confidentialité.