trueNetLab logo
ES
¿Quién le da sus valores a la IA?

¿Quién le da sus valores a la IA?

Cuando pregunto a una IA cómo configurar un cortafuegos, puedo comprobar su respuesta. Puedo leer la documentación, probar el ajuste y ver si el resultado es correcto.

Otras preguntas carecen de esa referencia clara. ¿Debería dar una segunda oportunidad a un empleado? ¿Está justificada cierta vigilancia? ¿Cuánta libertad personal puede costar la seguridad?

Una IA puede responder con calma, claridad y convicción. Precisamente por eso quiero saber qué criterios utiliza. ¿Qué intereses tiene en cuenta? ¿Dónde pone los límites? ¿Y quién decidió que esos límites eran los correctos?

Por eso, de Anthropic y OpenAI me interesan tanto las capacidades de sus modelos como las convicciones y estructuras que hay detrás. Ambas empresas desarrollan sistemas a los que se pretende confiar decisiones. Su manera de entender la responsabilidad merece un examen cuidadoso.

El altruismo eficaz ofrece una entrada interesante a esta discusión. La idea me atrae. Algunas de sus conclusiones, sin embargo, me hacen ser prudente.

Hacer el mayor bien posible suena convincente

El altruismo eficaz pregunta cómo podemos utilizar nuestro dinero, tiempo y capacidades limitados para ayudar lo máximo posible a los demás. La investigación y los argumentos razonados deben ayudar a elegir entre distintas opciones. El movimiento abarca causas que van de la salud mundial y el bienestar animal a los riesgos de una IA avanzada.

Me parece razonable medir la ayuda por sus efectos. Una buena intención dice poco sobre si alguien recibió ayuda de verdad. Quien dona dinero o invierte años de trabajo debería poder preguntarse si otro uso conseguiría más.

La dificultad aumenta cuando comparamos efectos de naturaleza muy distinta.

El largoplacismo otorga especial importancia moral al futuro lejano. Las personas que podrían vivir en él deben contar en las decisiones actuales. De ahí surge, entre otros, el argumento de tomar en serio los riesgos capaces de destruir ese futuro de forma permanente.

De entrada, tampoco tengo muchas objeciones. También exigimos que se piense en las generaciones futuras al tratar la contaminación o los residuos nucleares.

Mi escepticismo empieza con la certeza de nuestras predicciones. ¿Con qué fiabilidad podemos juzgar qué decisión de hoy mejorará la vida dentro de siglos? ¿Cómo comparamos un beneficio demostrable hoy con la posibilidad de evitar una catástrofe en un futuro lejano?

Un cálculo puede ser matemáticamente correcto y apoyarse en supuestos muy inciertos. Si el beneficio futuro supuesto es suficientemente grande, puede superar casi cualquier prioridad actual. Es precisamente ahí donde quiero ver los supuestos, las incertidumbres y los límites de lo que se pretende justificar con el beneficio esperado.

Cómo las ideas se convierten en influencia

La conexión con el desarrollo de la IA puede mostrarse, al menos, mediante decisiones concretas de financiación. Open Philanthropy, hoy Coefficient Giving, incluyó una subvención de 30 millones de dólares a OpenAI en 2017. La reflexión filosófica sobre el futuro no quedó confinada a libros y debates. Influyó en qué investigaciones recibieron apoyo.

Eso no demuestra una ideología uniforme entre todas las empresas implicadas. Una subvención no explica cada decisión comercial posterior ni las convicciones de todos los empleados.

Por eso distinguiría el altruismo eficaz, el largoplacismo y la investigación en seguridad de la IA. Se puede advertir de capacidades peligrosas sin compartir una filosofía concreta del futuro. También se puede apoyar la ayuda eficaz y criticar las prioridades de determinadas organizaciones.

Para evaluar Anthropic y OpenAI me importa, sobre todo, qué deciden hoy, qué poder ejercen con esas decisiones y cómo se limita ese poder.

Anthropic: unos valores explícitos

Anthropic hace visibles sus intenciones para Claude con un detalle poco habitual. Su «Constitución» publicada describe valores y conductas deseados y, según la empresa, se utiliza durante el entrenamiento. Aborda la honestidad, la prevención de daños y la supervisión humana, entre otros asuntos. Anthropic reconoce que la conducta real de Claude puede apartarse de esos objetivos.

Se lo valoro positivamente. Un documento público ofrece una base para la crítica. Puedo contrastar una respuesta con él y preguntar si Claude cumple sus propias directrices. También puedo rechazar las directrices mismas.

Aun así, soy prudente con la palabra «constitución». Sugiere un acuerdo social y unas reglas legitimadas colectivamente. Aquí una empresa describe sus intenciones para un producto. Es una divulgación importante, pero no concede al público un derecho vinculante a participar en las decisiones.

También merece atención la justificación que Anthropic da de su propio papel. Presenta el desarrollo de IA potentes como una apuesta deliberada: si esos sistemas van a surgir de todos modos, los laboratorios centrados en la seguridad deberían trabajar en la vanguardia.

Entiendo el argumento. Pero contiene un conflicto de intereses que no veo resuelto por las buenas intenciones. Quien se cree más responsable que la competencia también puede concluir que debe crecer más deprisa y ganar influencia.

Por eso me interesan las condiciones verificables que limitan esa apuesta. ¿Cuándo tendría Anthropic que retrasar un desarrollo? ¿Qué resultados llevarían a la empresa a cuestionar su estrategia?

Para la supervisión corporativa, Anthropic creó el Long-Term Benefit Trust. Sus miembros deben estar aislados de intereses financieros en la empresa y cuentan con derechos especiales para influir en la composición del consejo. Al presentar la estructura, la propia empresa la describió como un experimento.

Me tomo en serio ese intento. Su existencia, por sí sola, no demuestra la eficacia del control cuando los intereses chocan. La documentación bursátil publicada describe los derechos del Trust, sus limitaciones y los procedimientos para modificarlos. Esos detalles merecen más atención que la tranquilizadora palabra «independiente».

Mi valoración provisional: Anthropic concreta sus valores y permite cuestionarlos. Eso es una fortaleza. Para confiar, también necesito pruebas de que los controles previstos funcionan cuando una decisión de seguridad cuesta crecimiento o ingresos.

OpenAI: misión social e intereses económicos

Con OpenAI también sería simplista mirar solo los intereses comerciales. Según su estructura publicada, la OpenAI Foundation, sin ánimo de lucro, controla OpenAI Group, constituida como Public Benefit Corporation. La Foundation puede nombrar y sustituir a los miembros del consejo del Group. Además, tiene una participación en su capital.

Es una estructura de control relevante. El relato general de que la misión no lucrativa simplemente ha desaparecido por completo no le hace justicia.

Al mismo tiempo, veo una tensión: si los recursos de la Foundation se benefician del éxito comercial del Group, su misión protectora y el interés por crecer pueden entrelazarse mucho. Eso no tiene por qué producir una mala decisión. Pero vuelve importante preguntar con qué independencia puede evaluarse la renuncia al crecimiento.

OpenAI también publica reglas para el comportamiento de sus modelos. La Model Spec aborda el control humano, la honestidad y la prevención de daños, entre otros aspectos. También señala como objetivo proteger a la empresa frente a daños legales y reputacionales. OpenAI reconoce que los modelos desplegados aún no cumplen plenamente la especificación.

Me resulta útil que esos intereses distintos se nombren expresamente. Una empresa tiene que poder seguir siendo viable económica y legalmente. Como usuario, aun así quiero entender cómo se decide cuando mi petición, el interés público y el interés del proveedor divergen.

Mi criterio es el mismo que para Anthropic: las reglas publicadas son valiosas. Su aplicación práctica y la posibilidad de impugnar eficazmente decisiones deben evaluarse por separado.

Por tanto, los documentos solos no permiten elaborar una clasificación seria de qué empresa es «más altruista». Muestran intenciones y estructuras. Para juzgar el impacto necesito además decisiones concretas y resultados verificables.

Cómo evaluaría a ambas empresas

Me interesan especialmente las situaciones en que la responsabilidad se vuelve incómoda.

Retrasar el lanzamiento de un modelo aunque los competidores se acerquen. Documentar un error para que personas externas comprendan su alcance. Dar a los afectados una vía eficaz de reclamación. Permitir suficiente acceso a evaluadores independientes para que saquen sus propias conclusiones.

Plantearía las mismas preguntas a ambas empresas:

  • ¿Qué impacto social se ha demostrado realmente?
  • ¿Qué límites son vinculantes y quién puede cambiarlos?
  • ¿Quién puede detener una decisión arriesgada?
  • ¿Cómo se divulgan los errores, los contraargumentos y los conflictos de intereses?
  • ¿Qué opciones tienen las personas afectadas por un sistema sin ser sus clientes?

Esa última pregunta me preocupa especialmente. Una empresa puede tratar bien a sus clientes y tomar decisiones cuyas consecuencias soportan otros. Un contrato de compra solo representa esos intereses en parte.

La cuestión de los valores se vuelve práctica

Si un asistente solo sugiere un texto, puedo descartarlo. Cuando un sistema con los permisos pertinentes envía correos, preselecciona candidaturas o accede a datos de la empresa, sus directrices tienen consecuencias inmediatas.

Una discusión filosófica se convierte entonces en una cuestión de competencias y responsabilidades. ¿Puede el asistente rechazar una instrucción explícita? ¿Cuándo debe pedir aclaraciones? ¿Qué información puede compartir? ¿Y quién responde si interpreta mal una tarea autorizada?

Para esos sistemas exigiría límites técnicos: permisos claros, acciones rastreables y formas de detener o revertir un proceso. Un conjunto de valores bien redactado puede complementar esos controles. No puede demostrar su eficacia.

Veo de forma similar el plano social. Los desarrolladores necesitan margen para diseñar productos. Los usuarios necesitan opciones. Cuando están en juego derechos fundamentales o daños graves a terceros, también hacen falta reglas vinculantes y supervisión independiente. Su diseño debe poder debatirse públicamente.

Qué reforzaría mi confianza

Quiero reconocer que en Anthropic y OpenAI hay personas trabajando seriamente en una IA útil y segura. Sus principios publicados merecen consideración cuidadosa. Me parece injusto descartar toda preocupación de seguridad como marketing o inferir hipocresía moral de cada decisión comercial.

Tampoco quiero dar confianza por adelantado a una empresa porque describa sus objetivos con especial persuasión.

Del altruismo eficaz me gusta la exigencia de preguntar por el impacto real. Aplicaría esa exigencia a las propias empresas de IA. ¿Qué beneficios crean sus sistemas? ¿Qué daños surgen? ¿Qué supuestos propios han corregido? ¿Y qué poder están dispuestas a someter a un control eficaz?

Mi postura sigue abierta, pero exigente. No necesito la certeza de que las personas detrás de un modelo siempre tengan razón moralmente. Quiero entender cómo toman sus decisiones, poder cuestionarlas y saber que los errores tienen consecuencias para sus responsables.

Cuantas más decisiones deleguemos en la IA, más importantes serán esas posibilidades.

Hasta la próxima,
Joe

Fuentes