trueNetLab logo
PT
Quem dá os valores à IA?

Quem dá os valores à IA?

Quando pergunto a uma IA como configurar uma firewall, posso verificar a resposta. Posso ler a documentação, testar a definição e confirmar se o resultado está correto.

Outras perguntas não têm esse critério claro. Devo dar uma segunda oportunidade a um trabalhador? Uma determinada vigilância é justificável? Quanto pode a segurança custar à liberdade individual?

Uma IA pode responder com calma, clareza e convicção. É precisamente por isso que quero saber quais são os seus critérios. Que interesses considera? Onde coloca os limites? E quem decidiu que esses limites eram os certos?

Na Anthropic e na OpenAI interessam-me, por isso, tanto as capacidades dos modelos como as convicções e estruturas por trás deles. Ambas desenvolvem sistemas aos quais se espera que as pessoas confiem decisões. A sua compreensão da responsabilidade merece análise cuidada.

O altruísmo eficaz é uma entrada interessante nesta discussão. A ideia atrai-me. Algumas das suas conclusões, contudo, deixam-me cauteloso.

Fazer o máximo de bem possível parece convincente

O altruísmo eficaz pergunta como podemos usar dinheiro, tempo e capacidades limitados para ajudar o mais possível os outros. A investigação e argumentos fundamentados devem ajudar a escolher entre opções. O movimento abrange causas que vão da saúde global ao bem-estar animal e aos riscos de uma IA avançada.

Parece-me sensato avaliar a ajuda pelos seus efeitos. Uma boa intenção diz pouco sobre se alguém foi efetivamente ajudado. Quem doa dinheiro ou investe anos de trabalho deve poder perguntar se outra aplicação produziria mais.

A dificuldade aumenta quando comparamos efeitos de natureza muito diferente.

O longtermismo atribui especial peso moral ao futuro distante. As pessoas que poderão viver nesse futuro devem contar nas decisões presentes. Daí resulta, entre outros, o argumento de levar a sério riscos que poderiam destruir esse futuro de forma permanente.

À partida, também não vejo grande objeção. Exigimos igualmente que se considerem as gerações futuras quando se trata de poluição ou resíduos nucleares.

O meu ceticismo começa na certeza das previsões. Com que fiabilidade podemos avaliar qual decisão atual melhorará a vida daqui a séculos? Como comparamos um benefício demonstrável hoje com a possível prevenção de uma catástrofe num futuro distante?

Um cálculo pode ser matematicamente correto e assentar em pressupostos muito incertos. Se o benefício futuro presumido for suficientemente grande, pode superar quase qualquer prioridade atual. É precisamente aí que quero ver os pressupostos, as incertezas e os limites daquilo que o benefício esperado deve justificar.

Como as ideias se tornam influência

A ligação ao desenvolvimento da IA pode demonstrar-se, pelo menos, através de financiamentos concretos. A Open Philanthropy, hoje Coefficient Giving, registou um apoio de 30 milhões de dólares à OpenAI em 2017. A reflexão filosófica sobre o futuro não ficou confinada a livros e debates. Influenciou a investigação que recebeu apoio.

Isso não permite concluir que todas as empresas envolvidas partilhem uma ideologia uniforme. Um apoio não explica todas as decisões comerciais posteriores nem as convicções de todos os trabalhadores.

Distinguiria, por isso, altruísmo eficaz, longtermismo e investigação sobre segurança da IA. Pode alertar-se para capacidades perigosas sem partilhar uma filosofia específica do futuro. Também se pode defender a ajuda eficaz e criticar prioridades de certas organizações.

Para avaliar a Anthropic e a OpenAI, importa-me sobretudo o que decidem hoje, o poder que assim exercem e como esse poder é limitado.

Anthropic: valores explicitados

A Anthropic torna as suas intenções para Claude visíveis com um detalhe invulgar. A sua «Constituição» publicada descreve valores e comportamentos desejados e, segundo a empresa, é utilizada no treino. Aborda, entre outros temas, honestidade, prevenção de danos e supervisão humana. A Anthropic reconhece que o comportamento real de Claude pode divergir desses objetivos.

Reconheço esse mérito à empresa. Um documento público oferece uma base para a crítica. Posso comparar uma resposta com ele e perguntar se Claude cumpre as suas próprias orientações. Também posso rejeitar as próprias orientações.

Continuo, porém, cauteloso com a palavra «constituição». Sugere um acordo social e regras legitimadas coletivamente. Aqui, uma empresa descreve as suas intenções para um produto. É uma divulgação importante, mas não concede ao público um direito vinculativo de participar nas decisões.

A justificação da Anthropic para o seu próprio papel também merece atenção. A empresa descreve o desenvolvimento de IA poderosas como uma aposta deliberada: se esses sistemas surgirão de qualquer modo, laboratórios focados na segurança deverão trabalhar na linha da frente.

Compreendo esse argumento. Mas contém um conflito de interesses que não vejo resolvido pelas boas intenções. Quem se considera mais responsável do que a concorrência pode concluir também que precisa de crescer mais depressa e ganhar influência.

Por isso, interessam-me as condições verificáveis que limitam essa aposta. Quando teria a Anthropic de adiar um desenvolvimento? Que resultados levariam a empresa a questionar a sua estratégia?

Para a supervisão empresarial, a Anthropic criou o Long-Term Benefit Trust. Os seus membros devem estar isolados de interesses financeiros na empresa e dispõem de direitos especiais para influenciar a composição do conselho de administração. Quando apresentou a estrutura, a própria empresa descreveu-a como uma experiência.

Levo essa tentativa a sério. A sua existência não demonstra, por si só, a eficácia do controlo em caso de conflito. Os documentos bolsistas publicados descrevem direitos do Trust, limitações e procedimentos para os alterar. Esses pormenores merecem mais atenção do que a palavra tranquilizadora «independente».

A minha avaliação provisória: a Anthropic concretiza os seus valores e permite contestá-los. É um ponto forte. Para confiar, também preciso de provas de que os controlos previstos resistem quando uma decisão de segurança custa crescimento ou receitas.

OpenAI: missão social e interesses económicos

Também na OpenAI seria simplista olhar apenas para interesses comerciais. Segundo a estrutura publicada, a OpenAI Foundation, sem fins lucrativos, controla a OpenAI Group, organizada como Public Benefit Corporation. A Foundation pode nomear e substituir os administradores da Group. Detém ainda uma participação no seu capital.

É uma estrutura de controlo relevante. A narrativa genérica de que a missão sem fins lucrativos simplesmente desapareceu por completo não lhe faz justiça.

Ao mesmo tempo, vejo uma tensão: se os recursos da Foundation beneficiam do sucesso comercial da Group, a missão de proteção e o interesse no crescimento podem ficar estreitamente ligados. Isso não tem necessariamente de produzir uma má decisão. Mas torna importante saber com que independência pode ser avaliada uma renúncia ao crescimento.

A OpenAI também publica regras para o comportamento dos modelos. A Model Spec aborda controlo humano, honestidade e prevenção de danos, entre outros assuntos. Identifica ainda a proteção da empresa contra danos legais e reputacionais como objetivo. A OpenAI reconhece que os modelos em utilização ainda não cumprem integralmente a especificação.

Considero útil que estes diferentes interesses sejam explicitados. Uma empresa precisa de permanecer viável económica e juridicamente. Como utilizador, quero ainda assim perceber como se decide quando o meu pedido, o interesse público e o interesse do fornecedor divergem.

O meu critério é o mesmo que para a Anthropic: as regras publicadas são valiosas. A aplicação prática e a possibilidade de contestar decisões eficazmente precisam de avaliação separada.

Os documentos, por si só, não permitem uma classificação séria de qual empresa é «mais altruísta». Mostram intenções e estruturas. Para avaliar efeitos, preciso também de decisões concretas e resultados verificáveis.

Como avaliaria ambas as empresas

Interessam-me sobretudo as situações em que a responsabilidade se torna desconfortável.

Adiar o lançamento de um modelo enquanto os concorrentes se aproximam. Documentar um erro de modo que pessoas externas compreendam o alcance. Dar aos afetados uma via eficaz de reclamação. Permitir acesso suficiente a avaliadores independentes para tirarem as suas próprias conclusões.

Faria as mesmas perguntas às duas empresas:

  • Que efeito social foi realmente demonstrado?
  • Que limites são vinculativos e quem pode alterá-los?
  • Quem pode travar uma decisão arriscada?
  • Como são divulgados erros, contra-argumentos e conflitos de interesses?
  • Que opções têm as pessoas afetadas por um sistema sem serem suas clientes?

Esta última pergunta preocupa-me especialmente. Uma empresa pode tratar bem os clientes e tomar decisões cujas consequências recaem sobre outros. Um contrato de compra representa esses interesses apenas em parte.

A questão dos valores torna-se prática

Se um assistente apenas sugere um texto, posso rejeitá-lo. Quando um sistema com as permissões adequadas envia emails, pré-seleciona candidaturas ou acede a dados empresariais, as suas orientações têm consequências imediatas.

Uma discussão filosófica torna-se então uma questão de competências e responsabilidades. O assistente pode recusar uma instrução explícita? Quando tem de pedir esclarecimentos? Que informação pode partilhar? E quem responde se interpretar mal uma tarefa autorizada?

Para esses sistemas exigiria limites técnicos: permissões claras, ações rastreáveis e formas de parar ou reverter um processo. Um conjunto de valores bem formulado pode complementar esses controlos. Não pode demonstrar a sua eficácia.

Vejo o plano social de forma semelhante. Os programadores precisam de margem para criar produtos. Os utilizadores precisam de escolha. Quando estão em causa direitos fundamentais ou danos graves para terceiros, também são necessárias regras vinculativas e supervisão independente. A sua definição deve poder ser debatida publicamente.

O que reforçaria a minha confiança

Quero reconhecer que há pessoas na Anthropic e na OpenAI a trabalhar seriamente numa IA útil e segura. Os princípios publicados merecem análise cuidada. Considero injusto reduzir toda a preocupação com segurança a marketing ou inferir hipocrisia moral de cada decisão comercial.

Também não quero conceder confiança antecipada a uma empresa só porque descreve os seus objetivos de forma particularmente convincente.

No altruísmo eficaz, aprecio o apelo a perguntar pelos efeitos reais. Aplicaria esse critério às próprias empresas de IA. Que benefícios criam os seus sistemas? Que danos surgem? Que pressupostos próprios corrigiram? E que poder estão dispostas a submeter a controlo eficaz?

A minha posição continua aberta, mas exigente. Não preciso da certeza de que as pessoas por trás de um modelo têm sempre razão moralmente. Quero perceber como tomam decisões, poder contestá-las e saber que os erros têm consequências para os responsáveis.

Quanto mais decisões confiarmos à IA, mais importantes serão essas possibilidades.

Até à próxima,
Joe

Fontes