L'ETSI lance un nouvel outil clé pour une IA fiable

L'ETSI a annoncé le 4 septembre le lancement de son nouveau rapport technique ETSI TR 104 180, un cadre standardisé permettant d'évaluer quantitativement la qualité des données utilisées dans les écosystèmes numériques et d'intelligence artificielle. Ce référentiel doit aider les organisations à déterminer si leurs données sont adaptées à l'usage qu'elles souhaitent en faire, tout en posant les bases d'une approche cohérente, reproductible et standardisée des tests de qualité des données. À mesure que l'adoption de l'IA progresse, les organisations se montrent en effet de plus en plus attentives à la qualité des données qui alimentent leurs systèmes, un enjeu central pour la fiabilité des modèles. (Photo DR).

Le rapport définit 18 métriques de qualité des données, assorties de définitions formelles et de méthodes de mesure mathématiques, réparties en quatre grandes catégories : la qualité fondamentale des données (exhaustivité, exactitude, fiabilité, cohérence, précision, intégrité, redondance, unicité), leur utilisabilité (disponibilité, couverture, traçabilité, actualité), l'équité (qualité des étiquettes, biais de mesure, biais de représentation), ainsi que la confidentialité et l'usage responsable des données (anonymat, confidentialité). Ces métriques permettent aux organisations de détecter d'éventuels problèmes de qualité, de fiabilité ou de biais dans leurs jeux de données.

Pour valider ce cadre et démontrer son applicabilité, l'ETSI a appliqué ces métriques à deux types de données contrastés : des données de capteurs industriels IoT et des données démographiques. Cette expérimentation a mis en évidence que différents usages nécessitent des combinaisons et des pondérations différentes des métriques : pour les données de capteurs industriels, la fiabilité, l'actualité, l'exactitude, l'exhaustivité, la traçabilité et l'intégrité s'avèrent particulièrement déterminantes, tandis que pour les données démographiques, l'exhaustivité, l'anonymat, le biais de représentation, la qualité des étiquettes, la confidentialité et la couverture priment. “Il est essentiel que la qualité des données soit mesurable, notamment pour les organisations qui doivent établir si leurs données sont adaptées à des usages critiques, comme c'est le cas pour une IA de confiance”, a déclaré Diego Lopez, président du comité technique DATA de l'ETSI.

La preuve de concept a été réalisée par une équipe associant l'Université Sejong, EGM, TTA, l'Université de Daejeon et le CNIT, qui a développé un système open source fonctionnel de validation de la qualité des données. Cet outil permet d'attribuer un score à n'importe quel jeu de données à partir des 18 métriques définies dans le rapport technique, offrant ainsi aux propriétaires de données un moyen de s'auto-évaluer et de communiquer de façon transparente sur la fiabilité de leurs données, contribuant à renforcer la confiance au sein des écosystèmes numériques et d'intelligence artificielle.