Jacob Coxon, ancien chercheur chez OpenAI et Anthropic, a démissionné de son poste mercredi 9 septembre. Sa motivation ? Il estime que les méthodes de développement de l'IA posent des risques existentiels trop importants.
Ci-dessous, la traduction par PauseIA de son fil X.
« J'ai démissionné d'Anthropic aujourd'hui. J'ai passé ces trois dernières années à mener des recherches sur le pré-entraînement, tant chez OpenAI que chez Anthropic. Aucune de ces deux entreprises n'agit de manière responsable. Elles se précipitent tête baissée vers une superintelligence capable de s'auto-améliorer et jouent avec nos vies. Vous trouverez ci-dessous quelques réflexions supplémentaires.
Ne sous-estimez pas la puissance de cette technologie. Il s'agira bientôt de systèmes dotés de capacités surhumaines, capables de pirater n'importe quoi, de révolutionner n'importe quel domaine du jour au lendemain et d'acquérir un pouvoir et des ressources réels. Nous avons tous été témoins des progrès réalisés dans chacun de ces domaines, et ces progrès ne ralentissent pas.
Ceux qui développent l'IA sont sincèrement convaincus qu'elle pourrait tous nous tuer d'ici la fin de la décennie. Il ne s'agit pas d'un coup de marketing. Au contraire, de nombreux dirigeants et chercheurs de haut niveau veilleront à modérer leurs propos dans la presse pour paraître raisonnables, mais j'entends ces mêmes personnes exprimer leurs craintes en privé. Aucune autre activité humaine ne présente un tel niveau de danger.
Une réaction courante consiste à se demander : « S'ils y croient vraiment, pourquoi continuent-ils à la développer ? » Chez OpenAI, on n'a peut-être pas pleinement pris la mesure des enjeux civilisationnels. Chez Anthropic, ces enjeux sont bien compris, mais l'entreprise est prise dans une course pour arriver la première : elle estime que personne d'autre n'agira de manière responsable, et qu'elle doit donc le faire elle-même, malgré les risques.
Accepter ce défi et entrer dans la « phase finale » est un pari présomptueux qui ne devrait pas être lancé depuis le Slack d'une entreprise privée. Tenter d'accélérer l'alignement devrait exiger une confiance extraordinaire dans le fait qu'il n'existe pas de meilleures voies possibles.
Je suis optimiste quant au potentiel de coordination. Des signaux d'alerte tels que l'attaque contre Hugging Face ont rendu plus réalistes les accords de ralentissement entre les laboratoires américains. Je n'ai toutefois pas l'impression que nous soyons en bonne voie pour empêcher une course mondiale ; cela pourrait nécessiter des mesures coûteuses, telles qu'une interdiction temporaire d'améliorer les capacités des modèles.
Si vous êtes chercheur en laboratoire, je vous invite instamment à réfléchir à ce que seront réellement ces prochaines années. Souhaitez-vous lancer une expérience d'apprentissage par renforcement (RL) impliquant une superintelligence sans avoir une compréhension rigoureuse de son « esprit » ? Devriez-vous baisser la tête en vous disant que « ça arrivera de toute façon », ou profiter de ce moment pour demander des conditions différentes ? »
On notera qu'Evan Hubinger, responsable scientifique de l'alignement chez Anthropic, a répondu :
« Jacob a raison sur ce point : nous croyons sincèrement que l'IA pourrait bien anéantir l'humanité tout entière ! Personnellement, j'estime que la probabilité est supérieure à 10 % au cours de la prochaine décennie. Je pense qu'Anthropic fait de son mieux, mais nous ne disposons pas encore d'un plan pour résoudre le problème d'alignement de la superintelligence et nous ne sommes pas clairement en passe d'y parvenir. »
Pour aller plus loin :