Alors que les gouvernements et les organisations se précipitent pour déployer des outils d’IA afin de détecter les abus en ligne, une contradiction troublante émerge. Ces systèmes, conçus pour protéger les personnes vulnérables des préjudices numériques, pourraient involontairement créer de nouvelles formes de discrimination et de surveillance.
Prenons l’exemple de ce qui s’est passé en Nouvelle-Zélande l’année dernière. Le ministère des Affaires internes a déployé un algorithme pour signaler les contenus potentiellement nuisibles pour examen humain. Le système était censé renforcer la protection contre les abus en ligne, mais les responsables ont finalement découvert qu’il signalait de façon disproportionnée le contenu des communautés maories et des îles du Pacifique, ciblant effectivement des expressions culturelles plutôt que des menaces réelles.
Ce cas met en évidence la tension fondamentale dans les systèmes de détection d’abus par IA : ils promettent d’étendre la protection au-delà de la capacité humaine tout en risquant simultanément de nuire aux communautés mêmes qu’ils visent à protéger.
« L’attrait de ces systèmes est évident« , explique Dr. Maya Ramirez, chercheuse en droits numériques à l’Université de Toronto. « Les modérateurs humains ne peuvent pas examiner les milliards de publications créées quotidiennement. Mais les systèmes d’IA apprennent à partir des modèles historiques d’application, qui reflètent souvent les préjugés sociétaux existants. »
Les problèmes vont au-delà des données d’entraînement biaisées. De nombreux systèmes de détection d’abus fonctionnent comme des boîtes noires, prenant des décisions que même leurs créateurs ne peuvent pas totalement expliquer. Lorsque ces systèmes sont déployés par des gouvernements ou des plateformes puissantes, ils peuvent amplifier les déséquilibres de pouvoir existants.
En Australie, les algorithmes de surveillance de l’aide sociale ont signalé de manière disproportionnée les bénéficiaires autochtones pour enquête. Des modèles similaires sont apparus avec la police prédictive aux États-Unis, où les systèmes ont intensifié la surveillance des communautés déjà surcontrôlées.
Ce qui rend ces systèmes particulièrement préoccupants, c’est leur échelle et leur invisibilité. Contrairement aux modérateurs humains, les systèmes algorithmiques peuvent surveiller des millions d’interactions simultanément sans transparence sur leurs processus décisionnels.
« Il existe une dangereuse supposition que ces systèmes sont neutres« , note Jayden Wong, conseiller en politique technologique chez Digital Rights Watch. « Mais ils sont conçus par des humains avec des visions du monde spécifiques et formés sur des données qui reflètent des modèles historiques de discrimination. »
Les incitations financières qui motivent le développement de l’IA compliquent davantage les choses. Les grandes entreprises technologiques ont investi des milliards dans l’IA de modération de contenu, promettant des espaces en ligne plus sûrs tout en supprimant simultanément des emplois de modérateurs humains. Cela crée une approche de protection axée sur le profit qui privilégie l’échelle plutôt que la nuance.
Certaines communautés ont vu leurs expressions culturelles régulièrement signalées par ces systèmes. Des militants autochtones rapportent que du contenu sur les pratiques traditionnelles a été supprimé, tandis que les abus à leur encontre restent souvent intouchés. Le contenu de défense LGBTQ+ déclenche fréquemment des signalements automatisés, tandis que des formes subtiles de harcèlement passent inaperçues.
« Ces systèmes ne comprennent tout simplement pas le contexte« , explique Aisha Johnson, qui étudie le harcèlement en ligne à l’Université nationale australienne. « Ils ne peuvent pas distinguer entre une insulte nuisible et une communauté qui se réapproprie un langage, ou entre des menaces réelles et des expressions culturelles. »
Les limitations deviennent encore plus évidentes à travers les langues. La plupart des systèmes de détection d’abus sont nettement moins performants dans les langues et dialectes non anglais, créant des inégalités mondiales en matière de protection. Une étude récente de l’Algorithmic Justice League a révélé que l’IA de modération de contenu était 27% moins précise pour identifier le contenu nuisible en anglais afro-américain par rapport à l’anglais américain standard.
Malgré ces préoccupations, l’adoption de ces systèmes continue de s’accélérer. Dans l’UE, la loi sur les services numériques exige désormais que les plateformes démontrent comment elles traitent le contenu illégal, créant une pression pour mettre en œuvre une détection automatisée. En Australie, le Commissaire à la sécurité en ligne dispose de pouvoirs accrus pour exiger que les plateformes traitent rapidement le contenu préjudiciable, un délai qui nécessite pratiquement des approches algorithmiques.
L’ampleur financière est tout aussi importante. Le marché de l’IA de modération de contenu devrait atteindre 14,8 milliards de dollars d’ici 2028, selon les analystes de l’industrie chez MarketsandMarkets. Cela représente l’un des segments à la croissance la plus rapide de l’industrie de l’IA.
Certains chercheurs et défenseurs travaillent sur des approches alternatives. Le Partnership on AI a développé des lignes directrices pour des systèmes de modération de contenu plus transparents et responsables. Les modèles de modération communautaire, comme ceux pionniers sur des plateformes comme Mastodon, distribuent le pouvoir décisionnel plutôt que de le centraliser dans des algorithmes.
« Nous devons reconnaître que la technologie seule ne résoudra pas ces problèmes« , déclare le professeur Carlos Mendes, qui étudie la gouvernance numérique à l’Université McGill. « Les approches les plus efficaces combinent une supervision humaine réfléchie avec des systèmes conçus pour soutenir le jugement humain plutôt que de le remplacer. »
La voie à suivre nécessite un changement fondamental dans notre approche de ces technologies. Plutôt que de se précipiter pour déployer des systèmes d’IA comme mesures d’économie, les organisations doivent soigneusement considérer le potentiel de préjudice et intégrer une responsabilité significative.
Cela signifie inclure les communautés affectées dans la conception du système, mener des audits réguliers de biais, créer des processus d’appel clairs et maintenir une supervision humaine significative. Cela exige également de reconnaître que certaines formes de protection ne peuvent pas être automatisées sans causer de nouveaux préjudices.
Alors que l’IA continue de transformer les espaces numériques, la question n’est pas simplement de savoir si ces technologies peuvent détecter les abus, mais si elles peuvent le faire de manière à ne pas perpétuer les modèles existants de discrimination et de surveillance. La promesse de protection doit être équilibrée par rapport au potentiel de nouvelles formes algorithmiques de préjudice.
Le véritable défi pourrait être de résister à la tentation de considérer l’IA comme une solution simple à des problèmes sociaux complexes. Protéger véritablement les personnes vulnérables en ligne nécessite non seulement de meilleurs algorithmes, mais aussi une meilleure gouvernance, une autonomisation communautaire et un engagement envers des espaces numériques qui reflètent nos valeurs les plus élevées plutôt que nos biais les plus profonds.
