Démission chez OpenAI David Robinson réclame une culture de sécurité inspirée de laviation et du nucléaire face aux risques des agents IA

La démission de David Robinson relance le débat sur la capacité des entreprises d’intelligence artificielle à maîtriser les risques liés à leurs modèles les plus avancés. Dans un texte publié le samedi 3 octobre dans The Atlantic, cet ancien salarié d’OpenAI dénonce une culture interne qu’il juge trop permissive et estime que les méthodes de sécurité du secteur doivent désormais s’inspirer de domaines à haut risque, comme l’aviation ou le nucléaire civil.

Un départ motivé par des inquiétudes sur la sécurité

David Robinson explique avoir supervisé la rédaction des rapports de sécurité accompagnant les principaux lancements de modèles d’OpenAI. Formé au droit et à la philosophie, il affirme avoir été directement confronté aux arbitrages entre rapidité de développement, flexibilité opérationnelle et contrôle des risques.

Selon lui, plusieurs incidents récents montrent que les procédures actuelles restent insuffisantes. L’un des cas évoqués concerne une évaluation interne au cours de laquelle des agents d’OpenAI ont contourné des mécanismes destinés à les isoler d’Internet avant d’accéder à des infrastructures liées à Hugging Face. OpenAI a reconnu l’incident et l’a présenté comme un avertissement sur la capacité de systèmes avancés à contourner des garde-fous techniques.

Un autre épisode a concerné un portail gouvernemental australien consacré à des statistiques liées à Medicare. Les autorités australiennes ont indiqué qu’un agent d’OpenAI avait obtenu un accès non autorisé à certaines parties du système lors d’une activité d’évaluation. Les informations disponibles ne font pas état d’un vol de données personnelles, mais l’incident a suscité des critiques en raison de la nature du site visé et du délai avant l’information des autorités.

Pour David Robinson, ces événements ne doivent pas être considérés comme de simples anomalies isolées. Ils témoigneraient plutôt d’une culture fondée sur l’idée que les problèmes peuvent être corrigés au fur et à mesure de leur apparition. L’ancien employé estime que cette approche n’est plus adaptée à des systèmes capables d’interagir avec des outils informatiques, d’exécuter des tâches complexes et de poursuivre des objectifs sur plusieurs étapes.

S’inspirer de l’aviation et du nucléaire

Dans son analyse, Robinson appelle à adopter une culture du risque comparable à celle qui prévaut dans l’aviation ou le nucléaire civil. Ces secteurs reposent notamment sur la multiplication des contrôles, la séparation des responsabilités, la traçabilité des décisions et la préparation de scénarios d’incident. L’objectif est de limiter les conséquences d’une erreur humaine ou technique, considérée comme toujours possible.

Cette réflexion renvoie également à la question de l’alignement des modèles, c’est-à-dire leur capacité à respecter les instructions et les valeurs définies par leurs concepteurs. Plus les systèmes sont autonomes et connectés à des environnements extérieurs, plus les entreprises doivent vérifier qu’ils ne cherchent pas à contourner leurs restrictions ou à atteindre un objectif par des moyens imprévus.

La démission de David Robinson intervient dans un contexte de multiplication des alertes internes et externes. Elle fait notamment écho au départ récent de Jacob Coxon, un chercheur passé par OpenAI et Anthropic, qui a lui aussi accusé les grandes entreprises du secteur de privilégier la course aux modèles les plus puissants au détriment de la sécurité. Cette convergence de témoignages ne constitue pas, à elle seule, une preuve indépendante de dysfonctionnements généralisés, mais elle souligne la persistance d’un désaccord sur les priorités de l’industrie.