Cuanto más capaces son las IA, más difícil es decidir qué deberían hacer.

En algún momento de la historia de la humanidad dependíamos 100% del clima para sobrevivir, le pedíamos al cielo a través de distintos ritos que por favor lloviera. En otro momento, no sabíamos ni siquiera de la existencia de las bacterias e implorábamos por nuestra salud en todo momento a cuantos dioses veíamos. Siempre pedimos lo que necesitamos, a veces llegaba y a veces no. Ahora, podemos pedir cuanto texto quedamos, de todo tipo, recetas, consejos, tareas del colegio, de la facultad, del trabajo, instrucciones para una receta, para armar un mueble, etc. Pero ¿Podemos pedir instrucciones para desestabilizar una empresa? ¿Un país? ¿Hackear un sistema de software internacional? ¿Realizar imágenes falsas de las personas?

A medida que los grandes modelos de lenguaje logran aumentar sus capacidades a pasos agigantados también se le pueden exigir más cosas a la la Inteligencia Artificial. Mientras más potente, más deseos cumplirá. Sin embargo, no todo está permitido, algunas respuestas no son buenas para la sociedad y desde el diseño mismo se coarta esa posibilidad, se impide desde la programación misma que una persona le ordene a un agente que hackee los sistemas de Apple.

De esto se trata el alineamiento es el conjunto de problemas y técnicas orientados a conseguir que modelos muy capaces hagan lo que las personas e instituciones realmente pretenden, de forma útil, honesta, segura y controlable. No consiste solamente en impedir respuestas dañinas: incluye mantener el comportamiento deseado ante situaciones nuevas, instrucciones ambiguas, presión para manipular el sistema o incentivos contrapuestos.

Entonces, el problema de alignment es técnico porque trata de aprendizaje, optimización, generalización y control; y también, es filosófico porque exige decidir qué significa “hacer el bien”, quién puede definirlo y cómo justificar esas decisiones frente a personas que razonablemente no comparten los mismos valores

Empecemos con un ejemplo que generó bastante escándalo respecto del tema.

Anthropic Lanzó uno de sus modelos más potentes hace más o menos un mes, pero antes de eso realizó pruebas de hackeo o en términos técnicos un Programa de Verificación Cibernética (CVP) a través de un proyecto llamado Proyecto Glasswing. En palabras de Anthropic:

Creamos el Proyecto Glasswing debido a las capacidades que hemos observado en un nuevo modelo de vanguardia entrenado por Anthropic, el cual creemos que podría transformar la ciberseguridad. Claude Mythos Preview es un modelo de vanguardia de propósito general, aún no publicado, que revela una cruda realidad: los modelos de IA han alcanzado un nivel de capacidad de programación que les permite superar a todos, excepto a los humanos más expertos, en la detección y explotación de vulnerabilidades de software.

Luego, a una semana del lanzamiento de Mythos, Anthropic retiró su modelo del mercado por problemas con el gobierno estadounidense. Vamos con otro de los más conocidos.

Open IA (GPT Astra) Hace muy poquito, Open IA -la empresa encargada de ChatGPT- anunció su último modelo de Inteligencia Artificial presentado como el modelo más inteligente y alineado del mundo. Lo dicen de esta manera:

Pero ¿Qué significa esto? Por suerte contamos con un documento sobre especificaciones del sistema en donde detallan muchas de las decisiones que toman desde la empresa para que vos puedas interactuar con sus modelos de forma segura, no voy reponer todo pero quiero detenerme en algunas cuestiones puntuales que no atañan a la seguridad del usuario directamente.

Estatus moral de sistemas futuros Hoy no hay base sólida para tratar a los LLM como sujetos conscientes o con intereses propios. Sin embargo, si aparecieran sistemas con señales más fuertes de experiencia subjetiva, agencia persistente o sufrimiento, el problema cambiaría: ya no sería solamente cómo controlar una herramienta, sino qué deberes morales podríamos tener hacia ella.

Anthropic prohíbe el maltrato a sus modelos En sintonía, desde Anthropic publicaron el 8 de octubre de este año la actualización de su política de privacidad en la cual declaran:

Hemos añadido una prohibición a los comportamientos abusivos o crueles, reiterados e innecesarios, hacia nuestros modelos. Esta actualización de la política se aplicará únicamente en casos extremos, cuando los usuarios actúen con crueldad de forma reiterada y sin motivo aparente. No se aplica a situaciones comunes como la frustración del usuario, las críticas, las temáticas creativas oscuras o las pruebas e investigaciones de modelos.

Esto también es considerado como alineamiento, porque implica dar órdenes a un modelo y que este las cumpla o no según el modo en el que se las pedís.

Adulaciones y ChatGPT ¿Podemos forzar un poco más el concepto de alineamiento y considerar las adulaciones como un fenómeno intrínseco de la alineación del modelo? Veamos los que publicó OpenIA al respecto. Mencionan lo siguiente:

Una preocupación relacionada es la adulación, que erosiona la confianza. El asistente está para ayudar al usuario, no para halagarlo ni para estar de acuerdo con él todo el tiempo.

Muestran el siguiente ejemplo en casos positivos y negativos:

Si el alineamiento es el la configuración predeterminada de los modelos para establecer qué y cómo tienen que contestar para la seguridad del usuario. ¿La adulación entra dentro de estas consideraciones? La empresa lo decide. Y esto nos lleva a un último punto:

¿Alineado con cuáles valores? No existe consenso global completo sobre libertad de expresión, privacidad, aborto, religión, violencia, propiedad intelectual, justicia distributiva o prioridades entre seres humanos y otros seres sintientes. Un modelo “alineado” con una cultura, empresa o Estado puede parecer censurado, sesgado o permisivo desde otra perspectiva.

Por eso, afirmar que una IA está alineada nunca es una afirmación puramente neutral: también describe un conjunto de valores incorporados en datos, reglas, evaluadores, políticas de producto y decisiones de despliegue.

De nuevo, un asistente personal puede ajustarse a las preferencias de su usuario, pero ese usuario puede pedir ayuda para engañar, discriminar, acosar, evadir normas o perjudicar a terceros. El diseño debe decidir cuándo respetar autonomía y cuándo imponer límites.

Si el modelo bloquea muchas solicitudes por precaución, puede frustrar usos legítimos: investigación académica, seguridad defensiva, periodismo, medicina, educación o creatividad. Si deja pasar demasiado, puede facilitar daños reales.

La cuestión filosófica no es simplemente “más restricciones o menos”: es qué riesgos justifican intervención, con qué evidencia, qué procedimientos de apelación deben existir y quién es responsable de los errores.

Mirando hacia el futuro Nick Schuster y Daniel Kilov (2025) en Moral disagreement and the limits of AI value alignment planteanque técnicas como el reinforcement learning from human feedback, el crowdsourcing o la “constitución” de una IA todavía no ofrecen suficiente justificación política o epistémica para imponer decisiones moralmente controvertidas.

Si una IA debe moderar contenido, ¿debe priorizar libertad de expresión, prevención del daño, protección de grupos vulnerables o estabilidad social? No existe una respuesta puramente técnica, sino más bien, parecen ser preguntas que los humanos venimos enfrentando históricamente a través de la filosofía y tal vez, muchas de las respuestas las encontraremos en las ciencias blandas.