Intelligence artificielle : la Défenseure des droits focalise sur la non-discrimination

La Défenseure des droits Claire Hédon appelle à replacer la non-discrimination au cœur du futur règlement de la Commission européenne sur l’intelligence artificielle. Cette nouvelle réglementation européenne vise à régir les systèmes d’intelligence artificielle et a été présentée en avril 2021.

Des personnes discriminées par les algorithmes

La Défenseure des droits insiste sur le droit à la non-discrimination en toutes circonstances et sur l’accès aux droits garanti pour tous. Elle s’appuie sur plusieurs éléments afin de dénoncer la discrimination dont elle estime que certaines personnes ont déjà été victimes de la part des algorithmes. La Défenseure évoque le recrutement, et parle de biais sexistes repérés dans plusieurs algorithmes utilisés pour trier des CV. Elle cite le fait qu’ils tendaient à écarter systématiquement les candidatures de femmes.

Elle affirme que ces dérives ont été observées dans d’autres secteurs. Par exemple dans le cadre de la lutte contre la fraude aux prestations sociales, elle critique le fait que des algorithmes de Data Mining ont ainsi conduit à concentrer les contrôles sur certaines personnes en raison de leur lieu de résidence et de leur situation de famille. On peut relever que cette manière de fonctionner est pourtant un peu le principe des « jumeaux numériques » qui est banalisé en marketing afin de détecter des personnes susceptibles d’acquérir les mêmes produits, or on ne parle pas alors de discrimination ni de biais.

La Défenseure des droits considère qu’il y a un risque d’automatisation des discriminations. « Les avancées permises par ces technologies [d’intelligence artificielle] ne sauraient s’effectuer au détriment d’une partie de la population, ni au prix d’une surveillance généralisée » alerte-t-elle. Elle rappelle les rapports émis sur ces sujets par le Défenseur des droits, Algorithmes : prévenir l’automatisation des discriminations de 2020 et Technologies biométriques : l’impératif respect des droits fondamentaux de 2021.

Un avis conçu avec Equinet, réseau européen des organismes de promotion de l’égalité

Pour sa part, la Défenseure des droits publie aujourd’hui un avis intitulé « Pour une IA européenne protectrice et garante du principe de non-discrimination » réalisé conjointement avec Equinet, le réseau européen des organismes de promotion de l’égalité, dont elle est membre. Les recommandations de cet avis soulignent la priorité de lutter contre les discriminations algorithmiques et de faire appel aux organismes de promotion de l’égalité européens dans ce cadre.

Par ailleurs, la Défenseure des droits veut que des mécanismes de plainte soient mis en place dans tous les pays européens pour les personnes concernées. Elles pourront ainsi réagir en cas de violation des principes d’égalité et de non-discrimination ou de violation d’autres droits fondamentaux lorsque cela résulte de l’utilisation de systèmes d’intelligence artificielle. Elle exige également des analyses d’impact effectuées à intervalles réguliers des systèmes d’intelligence artificielle sur l’égalité.

Tous les concepteurs et utilisateurs d’intelligence artificielle doivent aussi se voir assigner des obligations d’égalité contraignantes. La Défenseure des droits demande que les nouvelles autorités de surveillance nationales des systèmes d’intelligence artificielle, consultent les organismes de promotion de l’égalité et les institutions compétentes en matière de droits fondamentaux.

Des algorithmes porteurs de risques pour les droits fondamentaux

La Défenseure des droits souligne enfin que les outils numériques reposent souvent sur des algorithmes sans que le grand public en soit toujours conscient ou informé. Ces algorithmes sont employés dans des domaines tels que l’accès aux prestations sociales, la police, la justice ou les ressources humaines. « Ces algorithmes de plus en plus sophistiqués constituent des sources de progrès, mais sont également porteurs de risques pour les droits fondamentaux » prévient la Défenseure des droits.