On s’imagine parfois que ChatGPT a besoin d’un bonjour au début d’une conversation. Or, être poli·e avec une intelligence artificielle coûte cher. Très cher, même. Selon Sam Altman, patron d’OpenAI, nos « merci », nos formulations bienveillantes, nos échanges apparemment anodins avec ChatGPT coûteraient à son entreprise des dizaines de millions de dollars. Parce que derrière chaque mot, chaque réponse, il y a des centres de données énergivores. Il y a des serveurs qui chauffent, des infrastructures titanesques. Et surtout, ce qu’on semble oublier rapidement, ce sont tous les humains derrière qui façonnent, entraînent et « perfectionnent » la machine. Autre chose qui coûte cher : les biais des algorithmes.

C’est précisément ce point que veut déconstruire Amélie Raoul, chercheuse en sciences de l’information et de la communication. Spécialisée dans les enjeux éthiques liés à l’intelligence artificielle, elle nous invite à regarder l’IA autrement, non plus comme une entité autonome, mais comme le reflet de nos choix, de nos biais, de nos angles morts.

La chercheuse a gentiment accepté de nous éclairer sur les dérives d’algorithmes qui reproduisent des discriminations systémiques, notamment dans les processus de recrutement. Et surtout, elle nous propose des pistes de solutions concrètes pour faire de l’IA un levier de justice plutôt qu’un amplificateur d’inégalités. Mais d’abord, parlons un peu d’Amélie.

Les zones grises de l’IA
Quand on lui demande ce qui l’a menée à s’intéresser aux biais algorithmiques, Amélie Raoul répond sans détour : « C’est d’abord un constat personnel sur la base de mes propres observations. Puis, c’est devenu un constat récurrent dans mes travaux de recherche et dans l’analyse des systèmes d’IA générative : ces technologies sont souvent perçues comme neutres ou objectives, et pourtant elles amplifient parfois des inégalités sociales, de genre ou ethniques. » Amélie travaille en effet à la croisée des mondes : entre stratégie d’entreprise, pédagogie et recherche universitaire. Ce qu’elle étudie, ce sont justement les zones grises : comment les systèmes d’IA, censés nous aider à mieux décider, peuvent parfois amplifier les inégalités de genre, de classe, d’origine. Et ce, dans des domaines aussi cruciaux que le recrutement, la santé ou l’éducation. Parce que là où l’IA est présentée comme objective, elle peut en réalité écarter un·e candidat·e, refuser un prêt, ou mal orienter un·e élève ou même un·e client·e, en reproduisant les logiques du passé.

Quand recruter devient discriminer
Et s’il est urgent de porter un regard critique sur ces technologies, c’est d’autant plus vrai dans le domaine du recrutement, où les outils algorithmiques sont de plus en plus utilisés pour trier, filtrer et évaluer des candidatures, et ce, souvent sans que les personnes concernées en soient pleinement conscientes.

Pour Amélie Raoul, ces systèmes ne sont pas seulement imparfaits : ils sont les héritiers directs de nos biais collectifs. « Quand un algorithme est entraîné sur des historiques de recrutement, il apprend à reproduire ce que les recruteurs ont fait par le passé. » Résultat : les mêmes profils sont favorisés encore et encore, sans que personne n’ait réellement « décidé » de discriminer. Pire encore, les biais peuvent se cacher là où on ne les attend pas. « Même si le genre n’est pas pris en compte, certaines variables comme les congés maternité, une adresse ou un prénom peuvent suffire à biaiser un résultat. » Sous une apparente objectivité se dissimulent des normes implicites, souvent invisibles mais très coûteuses pour les personnes qui en font les frais. Et tout ça se fait dans un climat où peu d’entreprises ont les outils pour auditer ce qui se passe réellement. « Tant que l’IA sera perçue comme une boîte noire purement technique, sans gouvernance ni redevabilité, ces biais continueront de passer inaperçus. »

Les angles morts de la conception
Ce manque de connaissance ne naît pas par hasard. Il est souvent aggravé par ce que la chercheuse appelle les angles morts, soit les oublis collectifs qui se glissent dans le design même des systèmes.

Premier angle mort ? Le manque de diversité.

« Quand les développeur·euses partagent des parcours similaires – souvent masculins, issus de formations techniques, peu sensibilisés aux enjeux sociaux – certaines problématiques comme les discriminations systémiques ne sont tout simplement pas identifiées. » Résultat : le code encode, malgré lui, des biais très humains.

Deuxième illusion fréquente : croire qu’en supprimant les variables sensibles, l’algorithme devient neutre. C’est oublier que des données apparemment anodines peuvent fonctionner comme des « proxies » discriminants. « Une adresse, un type de diplôme, un parcours professionnel peuvent devenir des filtres qui reproduisent des inégalités, même en l’absence d’intention malveillante », explique la chercheuse.

Enfin, Amélie Raoul rappelle un dernier angle mort souvent négligé : la course à la performance. « Il y a une tendance à privilégier la performance globale d’un modèle, sans se demander pour qui il est performant, ni à quel prix. » Un outil peut parfaitement réussir sa tâche en moyenne, tout en excluant systématiquement certains groupes, de façon invisible.

Et au bout du compte, le contexte est trop souvent laissé de côté. « Un même outil peut produire des effets très différents selon l’environnement dans lequel il est déployé. » C’est pourquoi Amélie insiste sur le fait que le dialogue est crucial. Ingénieur·es, juristes, sociologues, recruteur·euses, usager·ères : tant que toutes ces voix ne sont pas entendues, les outils restent aveugles à la complexité humaine.

Une approche interdisciplinaire de l’IA
Pour les entreprises de communication et de marketing, souvent à la croisée des enjeux d’image, de réputation et de recrutement, intégrer l’IA ne peut plus se faire à l’aveugle. Selon Amélie Raoul, c’est même une occasion en or de revoir les fondations : « Rappelons-nous que les outils d’IA ne sont pas neutres : ils traduisent des rapports de pouvoir. » Ce que ça implique selon la chercheuse, c’est qu’intégrer un système algorithmique dans les ressources humaines, c’est déjà poser un acte politique. Encore faut-il s’en rendre compte et être sensible à ces questions.

Premier réflexe à adopter : auditer les systèmes avant de les utiliser. « Il faut se poser les bonnes questions : quelles données sont utilisées, selon quelles logiques, et avec quels impacts potentiels sur l’équité ? » Trop souvent, l’outil est implémenté sans discussion, dans une logique d’efficacité immédiate. Ensuite, l’experte insiste sur l’importance de faire dialoguer les parties prenantes : « Il faut croiser les regards : faire travailler ensemble les équipes tech, les RH, les juristes, les représentant·es du personnel. C’est comme ça qu’on anticipe les angles morts. » Cette approche interdisciplinaire, encore trop rare, permet de construire une gouvernance partagée de l’IA.

Autre piste trop peu explorée : donner du pouvoir aux candidat·es. « Il faut informer les personnes qu’un algorithme est utilisé dans leur évaluation, leur donner accès aux critères, et permettre une révision humaine si nécessaire. » Ce droit à la contestation est essentiel, surtout lorsque des décisions peuvent impacter des vies. Enfin, il s’agit aussi de revoir nos objectifs. « Une IA responsable ne devrait pas viser uniquement la rapidité ou l’efficacité, mais aussi l’inclusion, la diversité, la justice. » Cela suppose un changement culturel aussi bien que technologique. Et c’est ce virage-là, selon elle, que les entreprises les plus lucides commencent à prendre.

Ce que l’IA dit de nous (et l’inverse)
Malgré les dérives observées, Amélie Raoul reste pourtant optimiste : « Ce qui est encourageant, c’est que la prise de conscience progresse. » Les biais algorithmiques sont de moins en moins vus comme des incidents isolés, mais comme des symptômes systémiques qu’il faut anticiper. De plus en plus d’entreprises adoptent une approche plus responsable : outils de vérification de l’équité, modèles explicables, chartes d’usage co-construites avec les parties prenantes. « Ces débats sur les biais ont le mérite de rouvrir des discussions sur la diversité, la méritocratie, les normes implicites. »

Dans le domaine du marketing, cette vigilance est d’autant plus cruciale. Les algorithmes de ciblage analysent des millions de données personnelles, et peuvent, sans encadrement, renforcer des stéréotypes ou exclure des publics invisibles. « Si nous gardons en tête que l’IA reflète des rapports de pouvoir, nous sommes sur la bonne voie d’en faire une utilisation éthique », réitère Amélie Raoul. Il devient donc indispensable de questionner quelles données on utilise, pourquoi, et avec quelles conséquences.

L’IA ne devrait pas simplement optimiser les processus. Elle devrait aussi nous pousser à repenser nos critères : qu’est-ce qu’un·e bon·ne candidat·e ? Qu’est-ce qu’un bon ciblage ?

« C’est un défi, mais aussi une formidable opportunité de progrès social. »

Encore faut-il prendre le temps de le faire. Ralentir. Dialoguer. Ne pas tout donner à la machine sans poser un vrai regard humain sur ces résultats.

--

Petit lexique des biais algorithmiques

Biais algorithmique
Erreur ou distorsion introduite dans un système d’IA à cause de données biaisées ou de logiques de conception problématiques. Il ne s’agit pas d’un bug, mais d’une reproduction (souvent involontaire) d’inégalités sociales.

Variable sensible
Donnée personnelle liée au genre, à l’origine ethnique, au handicap, à la religion, etc. Même non incluse directement dans un algorithme, elle peut être réintroduite par des variables « proxy ».

Proxy discriminant
Variable qui semble neutre (ex. : type de diplôme, quartier de résidence) mais qui est corrélée à des critères sensibles. L’algorithme peut ainsi discriminer sans le « savoir ».

Audit éthique
Examen critique d’un système d’IA pour identifier ses biais, ses impacts, et proposer des améliorations. Il peut être mené en interne ou par un tiers indépendant.

Modèle explicable (ou interprétable)
Algorithme conçu pour que l’on puisse comprendre pourquoi il a pris une décision donnée. Un enjeu crucial pour la transparence et la possibilité de contester.