Traitement par lots
Avatar traite les grands jeux de données par lots. Un jeu de données de toute taille peut être anonymisé, et la mémoire nécessaire à un traitement dépend de la taille des lots, et non de la taille du jeu de données.
Un jeu de données plus petit qu'un lot est traité en un seul lot. Dans ce cas, rien sur cette page ne modifie vos résultats.
Fonctionnement
- Découpage. Le jeu de données est divisé en lots d'un nombre fixe d'enregistrements. La taille des lots est un paramètre du déploiement, et non un paramètre du traitement.
- Affectation aléatoire. Les enregistrements sont affectés aux lots de façon aléatoire. Chaque lot est un échantillon représentatif de l'ensemble du jeu de données, même lorsque le fichier est trié par date, par identifiant ou par classe.
- Anonymisation. Chaque lot est anonymisé indépendamment. Les voisins utilisés pour générer un avatar proviennent du même lot que l'enregistrement original.
- Assemblage. Les lots sont réassemblés. Les avatars conservent l'ordre des enregistrements originaux : la correspondance 1 pour 1 est préservée. La sortie mélangée est mélangée sur l'ensemble du jeu de données, et non à l'intérieur de chaque lot.
Données multi-tables et séries temporelles
Un lot ne sépare jamais des enregistrements qui doivent être modélisés ensemble :
- Dans un jeu de données multi-tables, un enregistrement parent et ses enregistrements enfants sont toujours dans le même lot. Cela nécessite des clés primaires et étrangères valides.
- Dans un jeu de données de séries temporelles, un individu et toutes ses séries temporelles sont toujours dans le même lot.
Un individu avec un très grand nombre d'enregistrements liés est conservé entier. Son lot peut alors dépasser la taille configurée.
Métriques
Les vérifications du jeu de données portent sur tous les enregistrements. Les métriques de confidentialité et d'utilité sont calculées sur le premier lot, qui est un échantillon représentatif. Chaque avatar est comparé aux enregistrements originaux du lot dont il est issu. Voir le rapport d'évaluation technique.
Ce que cela signifie pour vous
Pour les utilisateurs :
- Il n'y a aucun paramètre à définir. Le traitement par lots s'applique automatiquement.
- Le même jeu de données avec la même graine donne les mêmes lots et les mêmes résultats.
- Avec l'augmentation de données, les enregistrements supplémentaires d'un lot sont générés à partir des enregistrements originaux de ce lot.
Pour les administrateurs d'un déploiement auto-hébergé :
- La mémoire utilisée par un traitement dépend principalement de la taille des lots. Un jeu de données plus grand prend plus de temps, mais ne nécessite pas proportionnellement plus de mémoire.
- Contactez Octopize avant de modifier la taille des lots : elle modifie les besoins en mémoire et le nombre de voisins disponibles pour chaque enregistrement.