Anthropic développe un système de surveillance prédictive destiné à surveiller les militants

Source : The American Prospect, Daniel Boguslaw
Traduit par les lecteurs du site Les-Crises

Des offres d’emploi et des entretiens avec des responsables de la sécurité chez Anthropic révèlent que ce laboratoire de pointe en IA met en place un vaste système de surveillance destiné à surveiller de près les militants qui s’opposent au développement rapide de l’intelligence artificielle.

Outre la surveillance des militants se trouvant à proximité des dirigeants d’Anthropic et le suivi des manifestations organisées près des sites de l’entreprise, celle-ci met également en œuvre une approche dite de « prévention du crime », visant à anticiper les incidents avant qu’ils ne se produisent. Dans certains cas, cela implique également de signaler des suspects à la police avant même qu’un crime ne soit commis. Anthropic n’a pas répondu à la demande de commentaires formulée par The Prospect.

Les projets d’Anthropic visant à surveiller la dissidence vont à l’encontre des efforts déployés par l’entreprise pour se présenter comme l’alternative responsable à OpenAI. Au début de l’année, le ministère de la Défense et Anthropic se sont livrés à une vive polémique suite au refus d’Anthropic d’autoriser l’armée à utiliser ses outils pour la surveillance de masse sur le territoire national et les armes autonomes. Ces tensions semblent s’être apaisées, Anthropic recrutant désormais pour des postes de « vente liés à la sécurité nationale », dans le but de relancer ses contrats avec l’armée. Le renforcement de la surveillance des opposants nationaux s’inscrit dans le cadre d’un regain d’intérêt pour la sécurité nationale.

Un élément de l’architecture de surveillance d’Anthropic a été dévoilé lors d’un entretien diffusé l’année dernière dans un podcast, à laquelle ont participé Keon Ellison, responsable du Centre mondial des opérations de sécurité d’Anthropic, Zach Melvin, responsable des opérations de sécurité, et James Neufeld, PDG de Samdesk, une société à laquelle Anthropic fait appel pour la détection des risques.

Au cours d’une conversation approfondie sur la surveillance et l’analyse des menaces, l’entretien aborde également la question de la surveillance des militants. « L’année dernière, l’un de nos dirigeants devait se rendre dans une grande ville lorsque nous avons reçu, via Samdesk, des informations concernant une manifestation prévue » a déclaré Ellison. La manifestation initialement prévue avait été avancée en raison de problèmes d’autorisation. « Samdesk nous a prévenus environ 60 minutes à l’avance que les organisateurs de la manifestation avaient modifié l’horaire » a expliqué Ellison. « Cette heure supplémentaire a été cruciale. Sans elle, nos dirigeants auraient quitté leurs réunions et se seraient retrouvés en plein cœur des troubles. »

Ellison a expliqué qu’Anthropic avait utilisé ces données pour tracer un itinéraire alternatif pour le dirigeant et l’orienter vers une entrée de service de l’hôtel. « Ce qui aurait pu être une situation très stressante, a-t-il déclaré, a en réalité été désamorcée grâce à la détection précoce assurée par Samdesk et aux informations qu’il nous a fournies. »

Anthropic a commencé à transmettre régulièrement des signalements aux services de police à travers tout le pays concernant des menaces, et a déclaré au Wall Street Journal en juillet : « Nous suivons les comportements préoccupants au fil du temps grâce à un processus de suivi des personnes d’intérêt, ce qui nous permet de détecter rapidement les tendances à l’escalade. » Selon le Journal, « plusieurs individus impliqués dans des incidents signalés à la police faisaient déjà l’objet d’un suivi par le service de sécurité d’Anthropic. »

Le mois dernier, le San Francisco Standard a rapporté qu’Anthropic avait signalé un homme à la police de San Francisco pour avoir déclaré à Claude [assistant AI conçu par Anthropic, NdT] qu’il avait acheté un fusil semi-automatique AR-15 et qu’il avait le PDG Dario Amodei « dans sa ligne de mire ». Lorsque le Standard a contacté l’homme en question, celui-ci a déclaré au journal qu’il « faisait juste l’imbécile. »

Mais alors qu’Anthropic n’a pas hésité à appeler la police pour dénoncer un utilisateur de Claude frustré, le Standard a également rapporté un détail essentiel : Anthropic a refusé de montrer les messages en question à la police, invoquant sa politique interne. En résumé, Anthropic a signalé un utilisateur pour des propos tenus sur sa plateforme, puis a refusé de fournir à la police des preuves d’une infraction réelle.

Ce type de surveillance préventive, encouragée sans respect des garanties juridiques, est cité comme un objectif explicite par le responsable du programme de sécurité d’Anthropic dans le podcast analysé par le magazine Prospect. « L’objectif serait de faire évoluer les opérations : passer d’une approche réactive à une approche proactive, prédictive et préventive en matière de gestion et de lutte contre les menaces » a-t-il déclaré, ajoutant : « C’est ce type de maturité opérationnelle qui s’impose pour protéger les cibles de grande valeur, quel que soit le secteur d’activité. »

Les efforts d’Anthropic pour mettre en place un dispositif de sécurité prédictif s’étendent au-delà de la direction générale pour englober son équipe Sécurité, renseignement et sécurité (GSIS), selon une offre d’emploi publiée le mois dernier détaillant la recherche par Anthropic d’un spécialiste du renseignement d’entreprise qui « enquêtera sur des menaces, des acteurs et des événements spécifiques, produira des évaluations complètes et aidera les employés d’Anthropic à garder une longueur d’avance sur un champ de menaces en constante évolution et à se maintenir dans une position défendable. »

Une partie de ce poste, dont la rémunération se situe entre 180 000 et 230 000 dollars, consistera à « identifier, évaluer, suivre et enquêter sur les menaces mondiales, notamment l’instabilité géopolitique, le terrorisme, la criminalité, l’activisme, les attaques menées par des États-nations contre le secteur de l’IA, ainsi que les nouvelles tendances en matière de sécurité, notamment par le biais de recherches approfondies et de la collecte d’informations OSINT [Open-Source Intelligence, informations ouvertes, NdT] sur des menaces, des acteurs et des événements spécifiques » (c’est nous qui soulignons).

L’extension des activités de collecte de renseignements d’Anthropic à l’échelle nationale, voire mondiale, s’inscrit dans le cadre des efforts récents visant à renforcer la classification de l’IA et des infrastructures qui la soutiennent, notamment les centres de données et l’alimentation électrique. Une classification en tant qu’infrastructure hautement sensible placerait l’intelligence artificielle au même rang que l’eau, l’électricité et le haut débit. Et de fait, les défenseurs de l’IA, tels que l’association Americans for Responsible Innovation (ARI), ont exhorté l’administration Trump à opérer ce changement. Selon l’ARI, l’IA est « si vitale pour les États-Unis que l’incapacité ou la destruction de ces systèmes et actifs aurait un impact dévastateur sur la sécurité, la sécurité économique nationale, la santé publique ou la sécurité nationale, ou toute combinaison de ces éléments. »

Placer les laboratoires de pointe sous le bouclier de la sécurité nationale permettrait non seulement à Anthropic, OpenAI et Google d’avoir un accès encore plus large aux renseignements générés par les forces de l’ordre fédérales et les agences de renseignement, mais cela encouragerait également ces entreprises à influencer la manière dont les agences fédérales perçoivent les menaces pesant sur leurs résultats financiers, désormais qualifiés « d’infrastructures sensibles. »

Il n’est pas difficile d’imaginer comment l’engagement citoyen de cette même coalition bipartisane opposée aux centres de données pourrait se tourner vers l’IA, pour être aussitôt qualifiée d’extrémiste, voire, pire encore, de terroriste. La réponse d’Anthropic à ce problème a consisté à redoubler d’efforts pour développer une intelligence artificielle capable de fournir des services que le grand public ne saurait ignorer.

« Je reconnais que le grand public a une image négative de l’IA (et que c’est un gros problème), mais je ne pense pas que cela soit principalement dû à moi-même ou à d’autres responsables du secteur de l’IA qui mettent en garde contre les risques de cette technologie » a écrit Dario Amodei, PDG d’Anthropic, sur Twitter le mois dernier. « Je pense qu’il s’agit fondamentalement d’une crise de confiance [… ] Je pense que les gens ordinaires ne font pas confiance aux entreprises, aux gouvernements ou au secteur technologique, et qu’ils soupçonnent toujours que nous sommes en train de concocter un nouveau moyen de les escroquer. »

Alors qu’Anthropic intensifie ses efforts pour surveiller la dissidence grâce à ses équipes de renseignement internes et à un système de suivi des manifestations en temps réel alimenté par l’IA, l’entreprise devra faire face au désespoir économique croissant qui ronge les êtres humains en dehors des tours de la baie de San Francisco. La semaine dernière, les agents de sécurité qui patrouillent sur les campus d’OpenAI et d’Anthropic ont annoncé qu’ils avaient autorisé une grève en raison de l’impasse dans les négociations salariales. En réponse, Anthropic a envoyé un e-mail à l’ensemble de ses employés leur indiquant qu’il était préférable qu’ils travaillent depuis chez eux.

« Qui peut s’en sortir avec 22 dollars de l’heure à San Francisco ? » a déclaré David Huerta, président du SEIU-USWW, le syndicat représentant les agents de sécurité de la région de la baie de San Francisco, lors d’un rassemblement la semaine dernière. Autour de lui, les agents de sécurité scandaient : « Honte ! »

*