
Qui donne ses valeurs à l’IA ?
AiTable des matières
Quand je demande à une IA comment configurer un pare-feu, je peux vérifier sa réponse. Je peux lire la documentation, tester le réglage et constater si le résultat est correct.
Pour d’autres questions, ce repère clair manque. Faut-il donner une seconde chance à un collaborateur ? Une surveillance particulière est-elle justifiée ? Quel prix la sécurité peut-elle faire payer à la liberté individuelle ?
Une IA peut répondre avec calme, clarté et conviction. C’est précisément pour cela que je veux connaître ses critères. Quels intérêts prend-elle en compte ? Où place-t-elle les limites ? Et qui a décidé que ces limites étaient les bonnes ?
Chez Anthropic et OpenAI, je m’intéresse donc aux convictions et aux structures derrière les modèles autant qu’à leurs capacités. Les deux entreprises développent des systèmes auxquels les gens sont censés confier des décisions. Leur conception de la responsabilité mérite un examen attentif.
L’altruisme efficace offre une entrée intéressante dans cette discussion. L’idée me plaît. Certaines de ses conclusions m’incitent toutefois à la prudence.
Faire le plus de bien possible paraît convaincant
L’altruisme efficace cherche comment employer au mieux notre argent, notre temps et nos compétences limités pour aider les autres. La recherche et des arguments raisonnés doivent permettre de départager les options. Le mouvement couvre des causes allant de la santé mondiale au bien-être animal et aux risques liés à une IA avancée.
Il me paraît raisonnable de juger l’aide à ses effets. Une bonne intention ne dit pas grand-chose sur l’aide réellement apportée. Une personne qui donne de l’argent ou investit des années de travail devrait pouvoir se demander si un autre usage produirait davantage de résultats.
Cela devient plus difficile lorsqu’on compare des effets de nature très différente.
Le longtermisme accorde un poids moral particulier à l’avenir lointain. Les personnes susceptibles de vivre dans cet avenir doivent compter dans les décisions présentes. De là vient notamment l’argument selon lequel il faut prendre au sérieux les risques qui pourraient détruire définitivement cet avenir.
À première vue, je n’y vois pas non plus grand-chose à redire. Nous demandons aussi de tenir compte des générations futures face à la pollution ou aux déchets nucléaires.
Mon scepticisme commence avec la fiabilité de nos prévisions. Jusqu’à quel point pouvons-nous déterminer quelle décision actuelle améliorera la vie dans plusieurs siècles ? Comment comparer un bénéfice démontrable aujourd’hui à la possibilité d’éviter une catastrophe dans un avenir lointain ?
Un calcul peut être mathématiquement juste tout en reposant sur des hypothèses très incertaines. Si le bénéfice futur supposé est assez grand, il peut l’emporter sur presque toute priorité actuelle. C’est précisément là que je veux voir les hypothèses, les incertitudes et les limites de ce que le bénéfice attendu est censé justifier.
Comment les idées deviennent de l’influence
Le lien avec le développement de l’IA apparaît au moins dans des financements précis. Open Philanthropy, désormais Coefficient Giving, mentionnait une subvention de 30 millions de dollars à OpenAI pour 2017. Les réflexions philosophiques sur l’avenir ne sont donc pas restées cantonnées aux livres et aux discussions. Elles ont influencé le choix des recherches soutenues.
On ne peut toutefois en déduire une idéologie commune à toutes les entreprises concernées. Une subvention n’explique ni chaque décision commerciale ultérieure ni les convictions de chaque salarié.
Je distinguerais donc l’altruisme efficace, le longtermisme et la recherche sur la sécurité de l’IA. On peut mettre en garde contre des capacités dangereuses sans partager une philosophie particulière de l’avenir. On peut aussi soutenir une aide efficace tout en critiquant les priorités de certaines organisations.
Pour évaluer Anthropic et OpenAI, je regarde avant tout ce que ces entreprises décident aujourd’hui, le pouvoir qu’elles exercent ainsi et la manière dont ce pouvoir est limité.
Anthropic : des valeurs rendues explicites
Anthropic expose ses intentions pour Claude avec une précision inhabituelle. Sa « Constitution » publiée décrit les valeurs et comportements souhaités et sert, selon l’entreprise, à l’entraînement. Elle aborde notamment l’honnêteté, la prévention des dommages et la supervision humaine. Anthropic reconnaît aussi que le comportement réel de Claude peut s’écarter de ces objectifs.
Je lui en sais gré. Un document public donne une base à la critique. Je peux y confronter une réponse et demander si Claude respecte ses propres consignes. Je peux également contester les consignes elles-mêmes.
Je reste néanmoins prudent devant le mot « constitution ». Il évoque un accord social et des règles dont la légitimité est collective. Ici, une entreprise décrit ses intentions pour un produit. C’est une transparence importante, mais cela ne donne pas au public un droit contraignant de participer aux décisions.
La justification du rôle d’Anthropic mérite aussi l’attention. L’entreprise présente le développement d’IA puissantes comme un pari délibéré : si de tels systèmes doivent de toute façon apparaître, des laboratoires attachés à la sécurité devraient travailler à la pointe.
Je comprends cet argument. Il contient toutefois un conflit d’intérêts que les bonnes intentions ne suffisent pas, à mes yeux, à résoudre. Se croire plus responsable que ses concurrents peut aussi conduire à estimer qu’il faut croître plus vite et gagner davantage d’influence.
Je veux donc savoir quelles conditions vérifiables encadrent ce pari. Quand Anthropic devrait-elle retarder un développement ? Quels résultats l’amèneraient à remettre sa stratégie en question ?
Pour sa gouvernance, Anthropic a créé le Long-Term Benefit Trust. Ses membres sont censés être à l’abri des intérêts financiers liés à l’entreprise et disposent de droits particuliers sur la composition du conseil d’administration. Lors de sa présentation, l’entreprise elle-même qualifiait ce dispositif d’expérience.
Je prends cette tentative au sérieux. Son existence ne prouve cependant pas, à elle seule, l’efficacité du contrôle en cas de conflit. Les documents boursiers publiés décrivent les droits du Trust, mais aussi leurs limites et les procédures permettant de les modifier. Ces détails méritent plus d’attention que le mot rassurant « indépendant ».
Mon appréciation provisoire : Anthropic rend ses valeurs concrètes et contestables. C’est une force. Pour lui faire confiance, il me faut aussi des preuves que les contrôles prévus tiennent lorsqu’une décision de sécurité coûte de la croissance ou du chiffre d’affaires.
OpenAI : mission collective et intérêts économiques
Pour OpenAI aussi, se limiter aux intérêts commerciaux serait réducteur. Selon sa structure publiée, l’OpenAI Foundation, à but non lucratif, contrôle OpenAI Group, organisée en Public Benefit Corporation. La Foundation peut nommer et remplacer les administrateurs du Group. Elle détient également une participation au capital de celui-ci.
C’est une structure de contrôle significative. Affirmer globalement que la mission non lucrative a entièrement disparu ne lui rend pas justice.
J’y vois néanmoins une tension : si les moyens financiers de la Foundation bénéficient de la réussite commerciale du Group, sa mission protectrice et les intérêts de croissance peuvent devenir étroitement liés. Cela n’entraîne pas forcément de mauvaises décisions. Mais cela rend essentielle la question de l’indépendance avec laquelle un renoncement à la croissance peut être évalué.
OpenAI publie aussi des règles de comportement pour ses modèles. La Model Spec traite notamment du contrôle humain, de l’honnêteté et de la prévention des dommages. Elle cite également la protection de l’entreprise contre les préjudices juridiques et réputationnels. OpenAI reconnaît que les modèles déployés ne respectent pas encore entièrement la spécification.
Il me paraît utile que ces intérêts différents soient explicités. Une entreprise doit pouvoir rester viable économiquement et juridiquement. Comme utilisateur, je veux néanmoins comprendre comment sont prises les décisions lorsque ma demande, l’intérêt public et l’intérêt du fournisseur divergent.
Mon critère est le même que pour Anthropic : les règles publiées sont précieuses. Leur application et la possibilité de contester efficacement une décision doivent être évaluées séparément.
Les documents seuls ne permettent donc pas de classer sérieusement les entreprises selon leur degré d’« altruisme ». Ils montrent des intentions et des structures. Pour juger les effets, il me faut aussi des décisions concrètes et des résultats vérifiables.
Les critères que j’appliquerais aux deux
Ce sont surtout les situations où la responsabilité devient inconfortable qui m’intéressent.
Retarder la sortie d’un modèle alors que les concurrents rattrapent leur retard. Documenter une erreur de façon que des personnes extérieures en comprennent la portée. Offrir aux personnes concernées un recours efficace. Donner à des évaluateurs indépendants assez d’accès pour qu’ils tirent leurs propres conclusions.
Je poserais les mêmes questions aux deux entreprises :
- Quel effet sur la société a réellement été démontré ?
- Quelles limites sont contraignantes, et qui peut les modifier ?
- Qui peut arrêter une décision risquée ?
- Comment les erreurs, les contre-arguments et les conflits d’intérêts sont-ils divulgués ?
- Quels recours ont les personnes affectées par un système sans en être clientes ?
Cette dernière question me préoccupe particulièrement. Une entreprise peut bien traiter ses clients tout en prenant des décisions dont d’autres supportent les conséquences. Un contrat d’achat ne représente ces intérêts que partiellement.
La question des valeurs devient concrète
Si un assistant propose simplement un texte, je peux le rejeter. Dès qu’un système doté des autorisations nécessaires envoie des courriels, présélectionne des candidatures ou accède aux données de l’entreprise, ses consignes ont des conséquences immédiates.
Une discussion philosophique devient alors une question de responsabilités. L’assistant peut-il refuser une instruction explicite ? Quand doit-il demander des précisions ? Quelles informations peut-il transmettre ? Et qui est responsable s’il comprend mal une tâche autorisée ?
Pour ces systèmes, j’exigerais des limites techniques : des autorisations claires, des actions traçables et des moyens d’arrêter ou d’annuler une opération. Un ensemble de valeurs bien formulé peut compléter ces contrôles. Il ne peut pas démontrer leur efficacité.
Je vois les choses de manière semblable à l’échelle sociale. Les développeurs doivent pouvoir concevoir leurs produits. Les utilisateurs ont besoin de choix. Lorsque des droits fondamentaux ou des dommages graves pour des tiers sont en jeu, des règles contraignantes et un contrôle indépendant sont également nécessaires. Leur conception doit pouvoir faire l’objet d’un débat public.
Ce qui renforcerait ma confiance
Je reconnais que des personnes chez Anthropic et OpenAI travaillent sérieusement à une IA utile et sûre. Leurs principes publiés méritent un examen attentif. Je trouve injuste de réduire toute réflexion sur la sécurité à du marketing ou de voir dans chaque décision commerciale une hypocrisie morale.
Je ne veux pas davantage accorder ma confiance à une entreprise simplement parce qu’elle décrit ses objectifs de manière particulièrement convaincante.
Ce qui me plaît dans l’altruisme efficace, c’est l’exigence de regarder les effets réels. Je l’appliquerais aussi aux entreprises d’IA. Quels bénéfices leurs systèmes créent-ils ? Quels dommages surviennent ? Quelles hypothèses ont-elles corrigées ? Et quel pouvoir sont-elles prêtes à soumettre à un contrôle efficace ?
Ma position reste donc ouverte, mais exigeante. Je n’ai pas besoin d’être certain que les personnes derrière un modèle ont toujours moralement raison. Je veux comprendre comment leurs décisions se forment, pouvoir les contester et savoir que les erreurs ont des conséquences pour les responsables.
Plus nous confions de décisions à l’IA, plus ces possibilités deviennent importantes.
À la prochaine,
Joe


