Utilité
L’évaluation de la qualité des données synthétiques repose sur un équilibre délicat entre confidentialité et utilité. Alors que la confidentialité garantit que les individus ne peuvent pas être identifiés ou liés, l’utilité se concentre sur la préservation des propriétés statistiques du jeu de données original, permettant aux données synthétiques de constituer un substitut fiable aux données réelles.
Évaluation de l’utilité
Pour évaluer l’utilité des données synthétiques, nous adoptons un cadre basé sur trois niveaux génériques de métriques. Ces niveaux offrent une évaluation complète de la capacité des données synthétiques à conserver les caractéristiques essentielles du jeu de données original :
- Utilité univariée : mesure la similarité des distributions des variables individuelles entre les données originales et synthétiques.
- Utilité bivariée : évalue la préservation des corrélations par paires entre les variables.
- Utilité multivariée : apprécie la conservation de la structure globale du jeu de données, y compris les motifs de regroupement (clustering) et les relations globales entre les données.
Plus de détails sur nos métriques de confidentialité ici :
Bien que ces trois niveaux fournissent une base générique pour l’évaluation de l’utilité, nous encourageons vivement l’intégration de métriques spécifiques aux cas d’usage, adaptées aux besoins du jeu de données et à ses applications prévues. Les métriques personnalisées permettent une évaluation plus ciblée de l’utilité des données synthétiques en se concentrant sur des aspects ou caractéristiques cruciaux pour le cas d’usage.
Les métriques sont conçues avec un objectif de minimisation : des valeurs plus faibles indiquent une meilleure utilité, c’est-à-dire que les données synthétiques reflètent de près les propriétés statistiques des données originales.
L’importance du contexte
La préservation de l’utilité est plus efficace lorsque l’usage souhaité des données synthétiques est clairement défini. L’ajout de métriques personnalisées spécifiques au jeu de données ou à son application améliore le processus d’évaluation. Par exemple :
- Un jeu de données médical peut privilégier des métriques qui évaluent la conservation des tendances diagnostiques.
- Un jeu de données financier peut se concentrer sur la préservation de la volatilité ou des corrélations entre indicateurs financiers.
Utilité vs. Confidentialité : l’équilibre
L’utilité doit toujours être évaluée conjointement avec la confidentialité afin de garantir que les données synthétiques remplissent leur objectif sans compromettre l’anonymat. Comme pour la confidentialité, le contexte d’utilisation est déterminant pour juger de la pertinence de l’utilité :
- Pour une analyse exploratoire des données, la conservation des tendances et distributions globales peut suffire.
- Pour l’entraînement de modèles d’apprentissage automatique, la préservation des structures multivariées et des interactions complexes est souvent nécessaire.
En évaluant systématiquement l’utilité à ces trois niveaux et en intégrant des métriques spécifiques aux cas d’usage, nos outils permettent aux utilisateurs de s’assurer que les données synthétiques sont à la fois conformes en matière de confidentialité et adaptées à leur finalité. Cette double approche garantit la création de jeux de données synthétiques sécurisés, fiables et pratiques pour un large éventail d’applications.