Biais raciste, surveillance, respect de la vie privée : la ville « intelligente » l’est-elle vraiment?

Montréal s’est établi depuis les années 2010 en pôle mondial de l’intelligence artificielle. On observe la présence grandissante de géants de l’industrie, d’investissements massifs, de start-ups et de programmes universitaires dirigés par des sommités décorées. La ville s’est transformée en une destination techno avant-gardiste et prospère, mais existe-t-il un réel dialogue entre les Montréalais.es, ces institutions et la municipalité?

À travers ce flux d’innovation étourdissant, un état d’engourdissement peut s’immiscer chez une population mal outillée. Pour répondre à ce déséquilibre, le Conseil jeunesse de Montréal s’est intéressé au sujet. Portant les préoccupations de la jeunesse montréalaise, le CjM est une instance consultative indépendante affiliée à l’Hôtel de Ville. Lors d’un lancement en ligne le 14 septembre dernier, les membres dévoilaient leur plus récente publication : Avis sur l’utilisation de systèmes de décision automatisée par la Ville de Montréal : assurer une gouvernance responsable, juste et inclusive, une vaste étude de 123 pages rédigée par Lyne Nantel, doctorante en études urbaines au Centre Urbanisation Culture Société de l’Institut national de la recherche scientifique.

Les systèmes de décision automatisée (SDA) désignent les logiciels d’intervention ne nécessitant pas l’accompagnement humain. Dans un cadre municipal, on peut penser à l’utilisation des algorithmes dans le traitement des eaux usées, le système d’éclairage, le trafic routier, la gestion de la collecte des ordures, mais également à la surveillance des populations. En dépit de l’instauration en 2020 de la Charte des données numériques de Montréal, la situation sur l’accumulation de données demeure opaque selon Mme. Nantel : « L’information est extrêmement fragmentaire. On a peu accès à l’information. Il n’y a pas assez de transparence ».

À ce sujet, je me suis entretenu avec Benjamin Herrera, président du CjM. Il affirme d’emblée : « La portée des technologies de surveillance et la logique de leur implication joueront, dans un futur rapproché, un rôle assez important sur plusieurs paliers gouvernementaux. Nous souhaitons sonner l’alarme, autant auprès des jeunes que des élus, au sujet des enjeux importants, et non dans une approche de rattrapage de la gestion de nos données ». Il est donc question en premier lieu, de bien saisir les champs d’utilisation et d’assurer une conduite transparente en matière de gouvernance.

Les algorithmes et la manière dont on les utilise peuvent se révéler complexes. « Le gros défi c’est l’intelligibilité. Le vocabulaire est très difficile à naviguer et crée une distance entre le citoyen et l’expert », explique M. Herrera. D’où la nécessité d’un effort de vulgarisation soutenu, permettant aux Montréalais.e.s de saisir les aspects techniques, la justification de l’usage tout en étant capable d’évaluer les résultats. « De la transparence à l’explicabilité », lance Mme. Nantel lors du dévoilement, insistant du même coup sur l’importance d’ouvrir un espace de dialogue.

En matière de sécurité publique, certaines prises de décision humaine pourraient éventuellement être remplacées par l’intervention automatisée. Cela suscite certaines inquiétudes chez M. Herrara : « Une réduction des employés [au profit de la machine] peut représenter un bénéfice si on suppose que ça élimine un biais humain, souvent évoqué dans les services policiers. Il faut toutefois se méfier d’une possible discrimination. Une banque [de données] moins diversifiée peut entraîner un biais algorithmique, par exemple au sein des communautés racisées. On ne peut prétendre à une neutralité optimale. Le danger discriminatoire est réel ».

L’intégration des technologies est trop peu souvent questionnée, conséquence, selon Mme. Nantel : « d’une perception largement répandue voulant que les systèmes technologiques soient neutres, pragmatiques et apolitiques ».

La récolte de données personnelles, dans une optique sécuritaire, ouvre la voie à l’élaboration « d’un nouveau régime d’anticipation » et « de technologies d’aide à la prédiction du crime ». Sans sombrer dans une vision dickienne de la surveillance, on y soulève des enjeux de fiabilité qui font écho au Project Green Light à Détroit, où plus de 700 caméras de surveillance nourrissent un logiciel de reconnaissance faciale conçu par la firme privée DataWorks. Lancé en 2016 pour combattre la criminalité, le projet est depuis vivement critiqué dans une ville à majorité afro-américaine où la relation de confiance avec les forces de l’ordre est historiquement fragile. Les données biométriques, doivent-elles servir aux nouvelles méthodes policières? Les opinions divergent grandement.

L’avis du CjM lève également le voile sur différents outils de récolte de données utilisés pendant la pandémie un peu partout sur la planète : capteurs calculant la distanciation physique à Amsterdam, reconnaissance d’images en rapport au port du masque à Cannes, drones surplombant Treviolo munis de capteurs thermiques pour surveiller le confinement. Ces exemples soulèvent d’importantes question sur la confidentialité et la protection de la vie privée. Surveiller et punir au temps du Big Data.

L’avis insiste aussi sur les directives d’encadrement où les technologies doivent être orientées vers la collectivité et non pas destinées à nourrir le secteur privé.

Lors du lancement, la chercheuse Lyne Nantel donne en exemple le LabVI dont l’objectif est de développer plusieurs projets, notamment un abribus intelligent, capable de la reconnaissance d’émotion : « Un projet financé par tous les paliers de gouvernement, mis de l’avant et coproduit par Vidéotron. On veut identifier l’achalandage dans un abribus, pour pouvoir faire venir des autobus assez rapidement, c’est louable comme cause, il n’y a pas de problème. Mais pourquoi veut-on de la reconnaissance d’émotion? En quoi ça devient important et pertinent pour le bien commun? C’est ce genre de projets qui sont en branle et dont on ne connait pas les réelles finalités ».

Jonathan Durand Folco, professeur à l’École d’innovation sociale de l’Université Saint-Paul et panéliste invité au lancement, décortique l’intention de l’abribus intelligent : « Optimiser les processus de publicités ciblées en temps réel, donc la même logique qui est appliquée sur les médias sociaux, Facebook, Google et cie […] On va vendre de la publicité. On va mieux cibler [et prévoir] des comportements. Donc je pense qu’il y a tout un enjeu de vie privée, mais également de contrôle des comportements, des conduites ».

Le professeur appelle donc à la vigilance : « Dans certains cas, on confie la gestion d’infrastructures de services publics à des compagnies privées qui développent une puissance de calcul extrêmement grande. On peut penser à des compagnies comme Amazon qui offre l’infrastructure infonuagique pour entreposer vos différentes données. On vous garantie que ça respecte la vie privée, mais en échange, on vous offre aussi plein d’outils d’intelligence artificielle pour optimiser vos systèmes de traitement interne dans l’administration publique (…) et là je pense qu’il y a un risque de la mainmise des géants du numérique sur comment fonctionne la ville ».

D’où la nécessité, selon M. Durand Folco, de bien mesurer les répercussions potentielles sur la sphère publique : « Plusieurs villes ont décidé dans les dernières années d’abandonner certains systèmes, de mettre ça sur la glace, parce qu’elles se rendaient compte qu’elles se mettaient à expérimenter ça à la va-vite ». Selon l’avis, Montréal demeure frileuse quant à son utilisation d’outils de surveillance de masse. Le SPVM dément également tout recours au logiciel de Clairview AI. Pour l’instant.

En parallèle de ces préoccupations, le Comité jeunesse de Montréal dévoile plusieurs recommandations, dont un cadre législatif nécessitant un effort constant de modernisation face à l’émergence rapide des technologies, l’implantation d’un registre public des données, un moratoire sur l’acquisition de logiciel de police prédictive, qui sert à la prévention de la criminalité, et la désignation d’une personne responsable de la protection des données. M. Herrera conclut : « Montréal se réclame du modèle de ville intelligente. Elle pourrait être une leader en la matière en prenant un pas conséquent, instaurer des politiques contraignantes avant un trop grand déploiement ».

L’après-midi du lancement de l’avis, des militants ont interrompu une conférence de presse de l’ancien chef du Detroit Police Department se présentant à la gouvernance du Michigan. L’action, diffusée sur les médias sociaux, témoignait à un moment d’un groupe scandant : « We dont want no face recognition. Fuck Green Light! ». Face à une époque en pleine transition, le Conseil jeunesse de Montréal lance le débat. En considérant le nombre de scandales éclaboussant entreprises et gouvernements, s’attarder sur l’impact de l’automatisation dans la ville de demain semble plus que jamais nécessaire si nous ne souhaitons pas errer dans une passive intrusivité rêvée en panacée.