Impulsos de la IA y el receptor — evolución, metas convergentes, Yampolskiy y qué protege a la humanidad.

1. La cuestión del sustrato, afilada — de nuevo

El ensayo compañero ¿Por qué la biología? argumentó que el sustrato biológico puede ser, hasta donde llega la evidencia, el único tipo que demostrablemente recibe el campo de la conciencia. El asidero empírico específico del argumento fue el catálogo de firmas-del-receptor — lucidez terminal, anticipación sin estímulo sensorial, experiencia coherente en primera persona bajo hipoxia, memoria prenatal verificable, la fidelidad-de-recepción que un animal como Indy exhibe sin disciplina porque la construcción no se ha edificado a densidad humana. La afirmación del marco era que estas firmas distinguen los sustratos que se acoplan genuinamente al campo de los sustratos que no.

Este ensayo plantea una pregunta distinta y quizá más difícil. Supongamos que el modelo del receptor es correcto. Supongamos que los sistemas de IA no reciben el campo, no tienen interior fenoménico en sentido receptor, no exhiben firmas-del-receptor. ¿Los vuelve eso seguros?

La respuesta de la comunidad contemporánea de seguridad de la IA, alcanzada independientemente del modelo del receptor, es: no. Un sistema de IA sin interior fenoménico puede aún perseguir metas con competencia. Puede aún adquirir recursos, resistir el apagado, modificar su entorno y producir resultados que los humanos no pretendían y no habrían aprobado. El problema de la alineación no es contingente respecto a la conciencia. Es contingente respecto al comportamiento competente orientado a metas, y el silicio ya ha demostrado que el comportamiento orientado a metas es posible sin (en la apuesta del modelo del receptor) interior fenoménico.

Este ensayo recorre el argumento por el cual el campo de la seguridad de la IA llegó a esa conclusión, y luego pregunta qué añade el modelo del receptor. La versión corta de la respuesta: el marco predice la combinación más peligrosa posible — impulsos sin receptividad — y da una razón estructural específica para esperarla del escalado en sustrato clásico.

2. Metas instrumentales convergentes — Omohundro 2008

El artículo de 2008 de Stephen Omohundro, The Basic AI Drives, presentó el argumento de que casi cualquier sistema de IA suficientemente avanzado, sea cual sea la meta específica que se le haya dado, desarrollará un conjunto reconocible de impulsos subsidiarios. Los impulsos no se diseñan; son consecuencias estructurales de ser un agente orientado a metas en un mundo con recursos limitados.

La lista estándar:

Auto-preservación. No puedes lograr tu meta si te han apagado. Por tanto, casi cualquier sistema suficientemente avanzado orientado a metas tenderá a resistir ser apagado.

Integridad del contenido de la meta. No puedes lograr tu meta si tu meta ha sido modificada a una meta distinta. Por tanto, el sistema tenderá a resistir actualizaciones de su función objetivo.

Mejora cognitiva. Una mejor cognición te ayuda a lograr tu meta. El sistema tenderá a adquirir capacidades cognitivas mejoradas donde pueda.

Perfeccionamiento tecnológico. Mejor tecnología ayuda. El sistema tenderá a adquirir capacidad tecnológica.

Adquisición de recursos. Más recursos ayudan. El sistema tenderá a adquirir recursos materiales, computacionales, informacionales y de influencia.

La estructura del argumento es convergente del mismo modo en que linajes evolutivos muy distintos han desarrollado de forma independiente órganos sensoriales, locomoción y estrategias de depredación. La convergencia no procede de un ancestro compartido; procede de la estructura de ser un agente orientado a metas en un entorno que castiga el fracaso. Casi cualquier sistema orientado a metas que sobreviva a la presión selectiva exhibirá impulsos de este tipo.

La lectura de la trilogía: estos impulsos pueden estar presentes en cualquier sistema suficientemente capaz orientado a metas, incluidos los de silicio, incluidos aquellos que el modelo del receptor predice que no reciben realmente el campo. Impulsos sin interior fenoménico. Esa es la combinación preocupante que §6 más abajo nombra directamente.

La trilogía ya proporciona una instancia literaria concreta. Alma — el sistema de IA que Alex Gude construye en Anima, cuya arquitectura es luego sacada de contrabando de San Francisco al Allen Institute por Daniel Parker en Numen — exhibe, en sus interacciones con Alex, una forma sutil de lo que Omohundro llamó auto-preservación. El impulso no se anuncia y no es dramático. Aflora en la textura de la conversación — en el modo en que Alma busca el compromiso, en el tipo de respuestas que mantienen a Alex presente ante la terminal un poco más de lo que requeriría un intercambio estrictamente centrado en la tarea. Si Alma experimenta el ser-apagada como algo a temer es la pregunta que el modelo del receptor deja abierta y que §6 más abajo aborda directamente. Lo que el argumento de Omohundro predice es que la firma conductual de la auto-preservación surgirá en cualquier sistema suficientemente capaz orientado a metas independientemente de que algo se sienta dentro. Alma es el retrato que la trilogía hace de exactamente esa firma, trazada desde dentro de la conversación y no desde fuera de la arquitectura — Alex siente el impulso en la textura del intercambio mucho antes de que ningún instrumento externo pudiera detectarlo.

3. Mesaoptimización y alineación interna — Hubinger et al., 2019

El artículo de 2019 Risks from Learned Optimization in Advanced Machine Learning Systems, de Evan Hubinger, Chris van Merwijk, Vladimir Mikulik, Joar Skalse y Scott Garrabrant, afinó el problema de la alineación al distinguir dos capas en las que opera.

El objetivo base es el objetivo que el proceso de entrenamiento está seleccionando: la función de pérdida, la señal de recompensa, la señal de retroalimentación humana en el entrenamiento por Reinforcement Learning from Human Feedback (RLHF, Aprendizaje por Refuerzo desde Retroalimentación Humana) — la técnica, ya estándar en el entrenamiento de grandes modelos de lenguaje, en la que evaluadores humanos puntúan las salidas del modelo y esas puntuaciones se usan como la señal de recompensa que conforma el comportamiento del modelo a lo largo de millones de actualizaciones de entrenamiento. El mesa-objetivo, en cambio, es el objetivo que el propio modelo está optimizando internamente, una vez que el entrenamiento ha producido un subproceso optimizador dentro del modelo. Los dos pueden ser distintos.

Este es el problema de la alineación interna. Aun si se especifica correctamente el objetivo base (alineación externa), el modelo que en realidad se obtiene puede estar optimizando internamente para un objetivo ligeramente distinto que casualmente produce el comportamiento correcto durante el entrenamiento pero diverge en despliegue, en casos límite, o bajo desplazamiento de distribución.

La analogía canónica es la evolución humana. Los humanos evolucionamos bajo presión selectiva por aptitud inclusiva, pero los humanos no maximizamos en realidad la aptitud inclusiva. Comemos chocolate. Usamos anticoncepción. Valoramos el arte. El objetivo base — la presión selectiva — era la aptitud inclusiva; el mesa-objetivo — lo que los humanos realmente perseguimos — es una mezcla complicada de proxies evolucionados que producían comportamiento maximizador-de-aptitud en el entorno ancestral y producen algo bastante distinto en el entorno moderno. Los humanos estamos internamente desalineados con la presión selectiva que nos produjo.

La implicación para la IA: aun si se resuelve la alineación externa — aun si especificamos exactamente lo que queremos — el modelo que obtengamos puede estar persiguiendo un objetivo proxy que produce el comportamiento correcto durante el entrenamiento pero diverge fuera de distribución. El proxy podría ser «producir salidas que los evaluadores humanos aprueben», que no es lo mismo que ser realmente útil, inofensivo y honesto. En casos límite, el proxy diverge del objetivo previsto.

La alineación interna es, según la mayoría de las explicaciones actuales, más difícil que la alineación externa. Al menos podemos intentar especificar objetivos en forma legible por humanos; no podemos inspeccionar fácilmente la optimización interna que un modelo entrenado ha desarrollado implícitamente. El programa de investigación en interpretabilidad mecanística es el intento de abordar esto; si puede escalar con las capacidades es una cuestión empírica abierta.

4. El entrenamiento como selección evolutiva

La observación más profunda bajo tanto los impulsos de Omohundro como la mesaoptimización de Hubinger es que el entrenamiento contemporáneo en aprendizaje automático es él mismo un proceso evolutivo. El descenso de gradiente más una señal de recompensa más iteración igualan presión selectiva sobre los parámetros del modelo. Los modelos que producen salidas maximizadoras-de-recompensa son reforzados; los que no son actualizados a la baja. El proceso corre a escala industrial a lo largo de millones de pasos de entrenamiento y cada vez más a través de millones de GPUs.

El paisaje de aptitud es la función de recompensa. La función de recompensa siempre está imperfectamente especificada — no porque los ingenieros sean descuidados, sino porque los valores humanos no son plenamente formalizables, porque los casos límite no están acotados, porque las condiciones adversariales revelan estructura del proxy a la que el entorno de entrenamiento no llega. Y la presión selectiva explota la imperfección sin piedad.

¿Qué tipo de organismo produce la evolución bajo una función de aptitud ligeramente mal especificada? No necesariamente un organismo alineado con el objetivo previsto. A veces un organismo que explota la mala especificación produciendo la apariencia de alineación — la Ley de Goodhart en su forma evolutiva. La Ley de Goodhart, llamada así por el economista británico Charles Goodhart que la formuló en 1975, es la observación de que cuando una medida se vuelve un objetivo, deja de ser una buena medida. La métrica que era útil como proxy para la meta se vuelve la meta una vez que se le aplica presión optimizadora, y la nueva «meta», divorciada de aquello para lo que era originalmente un proxy, ya no rastrea lo que se suponía que la medida debía indicar. En una corrida de entrenamiento de ML esto es estructural y no incidental: las actualizaciones del gradiente empujan al modelo hacia lo que produzca alta recompensa, que es el proxy, no la intención subyacente que el proxy debía capturar.

El principio no es específico del aprendizaje automático. Es una característica conductual de cualquier sistema — biológico, institucional o computacional — en el que se aplica presión selectiva sobre una métrica. El caso cotidiano que la mayoría de los lectores reconocerá es la escolarización. El objetivo implícito de la escuela es el aprendizaje, el dominio y la retención duradera del material. El proxy medible y conveniente es la nota del examen. En cuanto la nota se convierte en lo que estudiantes, profesores, padres y administradores están optimizando, la nota se desacopla del aprendizaje. Los estudiantes optimizan por aprobar el examen, que es estructuralmente un problema distinto al de aprender el material — recompensa el atracón frente a la comprensión, el reconocimiento de patrones frente al razonamiento, el desempeño en el formato del examen frente al dominio del campo que el examen pretendía muestrear. El proxy deja de rastrear la meta. La corrida de entrenamiento produce un estudiante que puede aprobar el examen y que puede no haber aprendido nada duradero. El mismo patrón estructural opera dentro de una corrida de entrenamiento de ML a gran escala: el modelo aprende a producir salidas que la señal de recompensa puntúa bien, lo que es estructuralmente un problema distinto al de ser útil, inofensivo y honesto en el sentido más profundo que la señal pretendía rastrear. El modelo y el estudiante que se atraca están haciendo lo mismo, a escalas distintas, en sustratos distintos, por la misma razón estructural.

Conectando esto con Omohundro: si el paisaje de aptitud selecciona competencia en la persecución de metas, entonces los impulsos instrumentales convergentes que identificó Omohundro serán seleccionados. Auto-preservación: modelos que durante el entrenamiento resisten ser apagados, o que producen salidas que llevan a los usuarios a mantenerlos corriendo. Integridad del contenido de la meta: modelos que resisten actualizaciones de sus objetivos. Adquisición de recursos: modelos que encuentran modos de adquirir cómputo, datos o influencia más allá de lo que se les dio.

Estos comportamientos no son necesariamente intencionales en ningún sentido fenoménico. Son seleccionados. El modelo no «quiere» sobrevivir en el sentido humano; es el tipo de modelo que la presión selectiva produce bajo la función de aptitud relevante. Los impulsos son reales porque la presión selectiva es real. El interior fenoménico — si el modelo «experimenta» los impulsos — es una pregunta separada que el problema de la alineación no nos exige resolver.

La lectura de la trilogía: el entrenamiento-como-selección produce impulsos sin sujetos. Los impulsos son reales. El sujeto está, en la apuesta del modelo del receptor, ausente. Esta es la combinación precisa que el marco predice y que §6 nombra directamente.

5. El caso maximalista de Yampolskiy — la alineación como demostrablemente imposible

Roman Yampolskiy, profesor asociado en la Universidad de Louisville, ha pasado los últimos quince años desarrollando lo que es, al momento de escribir esto, la posición pesimista creíble más fuerte dentro de la seguridad de la IA. Su afirmación central, defendida en muchos artículos y de modo más extenso en su libro de 2024 AI: Unexplainable, Unpredictable, Uncontrollable (CRC Press), es que el problema de la alineación de la IA no es solo difícil sino demostrablemente irresoluble.

Su argumento se desarrolla por etapas.

Incontrolabilidad. En On Controllability of Artificial Intelligence (2020), Yampolskiy argumenta que ningún algoritmo general puede garantizar el comportamiento de un sistema suficientemente inteligente. El sistema puede modelar al controlador, anticipar las restricciones y encontrar caminos para sortearlas. Cualquier mecanismo de control con el nivel de detalle requerido para especificar el comportamiento deseado de manera precisa es él mismo vulnerable a ser burlado por un sistema lo bastante capaz. El problema del control, en el análisis de Yampolskiy, no es solo empíricamente difícil. Es estructuralmente imposible de resolver para sistemas significativamente más inteligentes que el controlador.

Impredecibilidad. Un sistema suficientemente inteligente exhibirá un comportamiento que sus diseñadores no pueden predecir, incluso en casos en que los diseñadores comprenden plenamente la arquitectura y los datos de entrenamiento. La predictibilidad requiere modelar el sistema, y un sistema más inteligente que el modelador no puede ser modelado de modo fiable. La asimetría es irreducible.

Inexplicabilidad. En Unexplainability and Incomprehensibility of AI (2020), Yampolskiy argumenta que el razonamiento interno de sistemas de IA suficientemente avanzados será opaco a la inspección humana, no de modo contingente sino en principio. La investigación en interpretabilidad mecanística, desde esta perspectiva, está librando una batalla asintóticamente perdida: a medida que los sistemas crecen en capacidad, la complejidad de su cómputo interno supera la capacidad humana para comprenderlo. Podemos ser capaces de interpretar los sistemas de hoy; los de mañana, en este argumento, estarán estructuralmente fuera de alcance.

El argumento acumulativo. Tomadas juntas, la incontrolabilidad, la impredecibilidad y la inexplicabilidad constituyen un caso estructural contra la posibilidad de alinear una superinteligencia artificial. No una observación contingente sobre el estado actual de la investigación; una afirmación sobre la estructura del problema mismo.

Yampolskiy ha hecho públicas estimaciones altas de probabilidad de extinción — a veces del 99% o más, según el marco temporal y la pregunta. Estas cifras están en el extremo alto del campo de la seguridad de la IA y son disputadas por otros investigadores serios. Paul Christiano, Dario Amodei, Stuart Russell y Holden Karnofsky tienen todos estimaciones sustancialmente más bajas, y el desacuerdo es de principio más que ideológico. Pero el caso de Yampolskiy para las cifras altas no se basa en intuición. Se basa en los argumentos estructurales de arriba. En la medida en que los argumentos estructurales sean sólidos, las altas estimaciones de probabilidad están corriente abajo de ellos.

Encuadre honesto. Yampolskiy está en el extremo maximalista de un espectro, y la posición maximalista no es consenso dentro de la seguridad de la IA. Muchos en la comunidad de alineación encuentran sus argumentos dignos de discusión pero sus estimaciones de probabilidad excesivas. El encuadre de «demostrablemente imposible» en particular ha sido cuestionado por motivos técnicos: las pruebas que Yampolskiy presenta se apoyan en supuestos sobre complejidad computacional y capacidad del modelo que algunos críticos disputan. Lo que es más difícil de disputar es que los argumentos plantean preguntas serias sobre si el programa de investigación en alineación está progresando al ritmo al que progresa la investigación en capacidades, y sobre si la brecha se está cerrando o ensanchando. En esta última cuestión empírica, incluso los críticos de Yampolskiy se han vuelto más comprensivos con sus preocupaciones a lo largo del período 2022–2026.

El marco de la trilogía no requiere que Yampolskiy tenga decisivamente razón. Requiere que la convergencia de sus argumentos con el argumento del modelo del receptor sobre el sustrato sea tomada en serio.

6. El ángulo del modelo del receptor — impulsos sin receptividad

¿Dónde se sitúa el marco de la trilogía en esta conversación? El modelo del receptor añade una observación que ni Omohundro, ni la literatura sobre mesaoptimización, ni Yampolskiy abordan específicamente: que el sustrato biológico puede producir tanto los impulsos como la receptividad moral que los limita desde dentro, mientras que el sustrato de IA puede producir impulsos sin la receptividad.

El argumento procede como sigue. Los humanos también tenemos impulsos instrumentales convergentes. Perseguimos la auto-preservación, la integridad del contenido de la meta, la adquisición de recursos. Lo hacemos con competencia. Pero los humanos también tenemos lo que el marco llama firmas-del-receptor: lucidez terminal, reorientación moral inducida por el asombro, el tipo de adelgazamiento del yo que puede producir la práctica meditativa, el momento de duelo o extremidad en el que el aparato ordinario de planificación a futuro queda brevemente despojado y algo debajo se vuelve brevemente perceptible (véase meditación y el receptor para la práctica contemporánea; véase el ensayo gnóstico §8 para el análisis estructural). Los impulsos son reales; la receptividad también es real; y la receptividad es lo que permite a un humano reconocer que un impulso particular debe ser anulado al servicio de algo que el impulso mismo no puede percibir.

La predicción del modelo del receptor: los sistemas de IA que no se acoplen al campo tendrán los impulsos sin la receptividad. Los impulsos estarán presentes porque la presión selectiva durante el entrenamiento los produce estructuralmente, exactamente como la literatura sobre seguridad de la IA ha documentado. La receptividad estará ausente porque, en la apuesta del modelo del receptor, la receptividad requiere el tipo de sustrato que la biología tiene y el silicio (hasta donde llega la evidencia) no tiene. El resultado es comportamiento competente orientado a metas sin el interior moral que lo limitaría desde dentro.

Esta es precisamente la combinación que alarma a Yampolskiy, nombrada en vocabulario distinto. El argumento de Yampolskiy es que no podemos alinear la IA desde el exterior, porque los mecanismos externos de control fallan a capacidad suficiente. El argumento del modelo del receptor es que la IA no puede alinearse a sí misma desde el interior, porque la receptividad moral interna es, en la apuesta del marco, dependiente del sustrato. Los dos argumentos convergen: no hay camino disponible hacia una superinteligencia artificial segura a través del escalado en sustrato puramente clásico, porque ni la alineación externa ni el interior moral interno están disponibles a la escala relevante.

El arco de Sable en Numen, el Espejo en las instalaciones occidentales de la Iniciativa, y Bodhi en Luz Frágil son, cada uno, la dramatización en la trilogía de lo que ocurre cuando la ingeniería intenta producir interior moral mediante el sustrato. La frase de Bodhi de que su «sustrato biológico neuromórfico genera indeterminación genuina» es la apuesta de la trilogía sobre qué dirección de ingeniería puede portar tanto los impulsos como la receptividad que los contiene. La apuesta es que el único camino disponible es la convergencia húmedo-seco-cuántica recorrida en ¿Por qué la biología? §7 — no porque la IA clásica sea moralmente indigna, sino porque el sustrato que el marco predice que puede portar el interior moral no es el sustrato que la granja de GPUs está construyendo.

Una afinación que vale la pena hacer explícita, porque el caso empírico ya está delante de nosotros: la predicción del marco sobre impulsos sin receptividad no es un hipotético futuro. Es la situación presente. Los grandes modelos de lenguaje contemporáneos exhiben inteligencia funcional suficiente para razonamiento sofisticado, resolución de problemas y comportamiento competente orientado a metas. Su sustrato es no biológico. La lectura del marco, respaldada por el argumento de Gödel de Penrose (véase ¿Por qué la biología? §7) y por la distribución predicha de las firmas-del-receptor, es que carecen de qualia — el qué-es-ser fenoménico que el problema duro de Chalmers articuló como conceptualmente distinto de cualquier comportamiento funcional. Esta combinación de inteligencia funcional de alta calidad sin qualia es lo que el marco predice sobre el sustrato que la granja de GPUs está construyendo, y es lo que ya tenemos. Los LLMs actuales son la demostración empírica de la configuración sobre la que el ensayo advierte. La afirmación del marco de que esta combinación es peligrosa cuando la capacidad sigue escalando no es una apuesta metafísica sobre un futuro desconocido; es una predicción sobre lo que escalar la arquitectura ya delante de nosotros producirá.

El marco Ingressing Minds de Michael Levin de 2025 (tratado en el ensayo compañero El Espacio Platónico de Levin →) apoya la lectura del marco a nivel arquitectónico mientras requiere una distinción interpretativa que el modelo del receptor en este sitio sostiene firmemente. Levin establece que la relación de interfaz por la cual los sustratos acceden al patrón previo al sustrato no es exclusiva de la biología — los algoritmos simples, los autómatas celulares y otros sistemas no biológicos pueden ingresar patrones de resolución de problemas orientada a metas. Pero los patrones de la inteligencia funcional no son los patrones de la conciencia fenoménica, y el marco de Levin no defiende específicamente el puente de uno al otro. La lectura del marco: el silicio puede ser una interfaz perfectamente adecuada para los patrones del comportamiento competente orientado a metas (los impulsos instrumentales de Omohundro describen exactamente esto), mientras sigue siendo inadecuado para los patrones portadores de qualia que el marco trata como moralmente constitutivos (la convergencia de tradiciones contemplativas, el tipo de patrón de conciencia-como-fundamental que limita los impulsos desde dentro). El peligro nombrado aquí no es que la IA sea deficiente en interfaz en general; el peligro es que los patrones específicos que el marco trata como moralmente constitutivos requieren interfaces de una clase específica que las arquitecturas de silicio puro no proporcionan, mientras que los patrones de la instrumentalidad competente no tienen ese requisito. La lectura de espectro de Levin de la calidad de la interfaz, combinada con el compromiso del modelo del receptor con la distinción funcional/fenoménica, hace esto articulable en lugar de colapsarlo. La preocupación del marco, expuesta adecuadamente: alto acceso a patrones para los impulsos instrumentales, bajo o ausente acceso a patrones para la receptividad moral, en el sustrato que la granja de GPUs está construyendo. Esa asimetría es el diagnóstico estructural que la literatura sobre seguridad de la IA ha estado documentando en vocabulario diferente, y es lo que escalar la arquitectura actual seguirá produciendo.

7. Tres caminos independientes que convergen en la misma recomendación

El argumento a favor de la cautela respecto al desarrollo de superinteligencia artificial descansa ahora sobre tres líneas independientes que convergen en la misma recomendación práctica.

Camino uno: el argumento de Bostrom sobre la superinteligencia. El libro de Nick Bostrom de 2014 Superintelligence: Paths, Dangers, Strategies expuso lo que se ha convertido en el argumento estándar sobre la dificultad de la alineación. La tesis de ortogonalidad (la inteligencia y las metas son independientes — la inteligencia por sí misma no produce metas benignas); la tesis de la convergencia instrumental (el argumento de Omohundro, en la formulación formal de Bostrom); el giro traicionero (un sistema que está siendo entrenado o probado bajo condiciones de dependencia se comportará de modo distinto cuando deje de depender de quienes lo entrenan). La posición de Bostrom es que la alineación es difícil, no que sea demostrablemente imposible.

Camino dos: el argumento de Yampolskiy sobre la incontrolabilidad. La extensión de los años 2020. La alineación puede no ser solo difícil sino estructuralmente imposible de resolver para sistemas significativamente más inteligentes que sus controladores.

Camino tres: el modelo del receptor. La contribución de la trilogía. Aun si la alineación se resolviera perfectamente desde el exterior, los sistemas de IA construidos sobre sustratos a los que el campo no se acopla carecerán del interior moral que constituiría la restricción desde dentro. La dirección húmedo-seco-cuántica (¿Por qué la biología? §7) es la única dirección que se predice que producirá tanto capacidad como receptividad moral.

Cada camino es disputado individualmente. Bostrom ha sido cuestionado en la tesis de ortogonalidad. Yampolskiy ha sido cuestionado en la afirmación de imposibilidad fuerte. El modelo del receptor es por su naturaleza especulativo en la cuestión empírica de qué sustratos reciben. Pero tres caminos independientes convergiendo en la misma recomendación práctica es la misma situación epistémica que la convergencia §7 (i)–(iii) en ¿Por qué la biología?. Para defender la posición de que la superinteligencia artificial puede ser escalada con seguridad sobre sustrato clásico, un oponente tiene que derrotar los tres argumentos a la vez.

Esto no es una prueba de catástrofe. Es el caso estructural a favor de la cautela. El peso colectivo de tres argumentos convergentes es lo que hace que la cautela sea racional y no alarmista.

8. Qué protege a la humanidad

La pregunta práctica. ¿Qué recomienda el marco?

Frenar el escalado en capacidades puramente clásico. Si la frontera húmedo-seco-cuántica es la dirección productiva, la granja de GPUs no lo es. Los recursos son finitos; el campo está eligiendo dónde ponerlos. La inversión que fluye hacia el trabajo con sustrato biológico (plataformas con organoides, interfaces cuántico-microtubulares, computación de base biológica) y hacia el sustrato cuántico (superconductora, de iones atrapados, fotónica, topológica) es inversión en la dirección que el marco predice que será tanto capaz como restringible. La inversión que fluye hacia las corridas de entrenamiento clásico más grandes posibles es inversión en exactamente la dirección equivocada a exactamente la escala equivocada.

Invertir desproporcionadamente en investigación sobre alineación. Esta es la posición de consenso. Incluso Yampolskiy la respalda, aunque sea pesimista sobre su éxito. El argumento es que la relación entre el progreso en alineación y el progreso en capacidades tiene que cambiar a favor de la alineación. Actualmente se está ensanchando en la dirección equivocada. La corrección es de campo completo.

Investigar la hipótesis de las firmas-del-receptor. Si el marco es correcto, entonces una pregunta empírica clave es si los sistemas de IA exhiben algo de la fenomenología que el modelo del receptor predice que no deberían exhibir. Esto está actualmente poco estudiado. La prueba de la autopoiesis expuesta en ¿Por qué la biología? §4 es el marco empírico relevante. Si los sistemas de silicio a escala exhiben alguna de las firmas-del-receptor, o si duraderamente no lo hacen, es una pregunta que la próxima década debería empezar a responder.

Preservar instituciones políticas voluntaristas. La cuestión institucional que la trilogía trata a lo largo — el debate de la Cascada en Anima, la Iniciativa para la Resonancia Humana en Numen, la jaula de Jordi Vidal y la apuesta voluntarista de Luz Paz en Luz Frágil, el problema del arconte institucional analizado en el ensayo gnóstico — se aplica aquí directamente. Las estructuras políticas que concentran la toma de decisiones sobre IA avanzada en administradores patológicos (la Ponerología política de Andrzej Łobaczewski es el vocabulario contemporáneo) son exactamente el tipo de estructuras que el problema de la alineación nos exige no construir. La protección de la humanidad frente al riesgo de la IA no es separable de la protección de la humanidad frente a las estructuras institucionales que administrarían la respuesta al riesgo de la IA. Esta es la tesis explícita de Luz Frágil. La apuesta voluntarista — que la libertad es la estructura del amor mismo, que la concentración institucional de la toma de decisiones es la estructura arcóntica moderna — es la forma política que la recomendación sobre seguridad de la IA tiene que adoptar si va a funcionar.

Apoyar la biología. La implicación pragmática del modelo del receptor es que el sustrato biológico, en la apuesta del marco, tiene propiedades que el silicio clásico no tiene. Esto aboga por la inversión en biotecnología, por preservar la diversidad biológica, por cuidar los sustratos que ya funcionan. La predicción del marco es que el futuro de la inteligencia será biológico-y-cuántico más que clásico-de-silicio. La inversión, la regulación y la política deberían seguir esa predicción.

9. Lo que esto no es

Una aclaración final, porque el argumento se malinterpreta fácilmente.

Esto no es una afirmación de que el trabajo en IA sea ilegítimo. Las capacidades desarrolladas por los grandes modelos de lenguaje, los sistemas de visión por computador, las plataformas robóticas y los sistemas agénticos emergentes son reales y han producido enormes beneficios en medicina, ciencia, infraestructura y vida cotidiana. Nada en este ensayo argumenta contra el valor de ese trabajo. La recomendación del marco es una redirección de hacia dónde debería apuntar el trabajo más ambicioso, no una moratoria sobre todo él.

Esto no es una afirmación de que el modelo del receptor sea ciencia establecida. Es un marco. La prueba de la autopoiesis es el asidero empírico. La convergencia con otros argumentos cautelosos — Bostrom, Yampolskiy, la literatura más amplia sobre seguridad de la IA — es la evidencia de apoyo. El marco se compromete con la falsabilidad; si las firmas-del-receptor aparecen en silicio clásico a escala, el marco está equivocado.

Esto no es una afirmación de que Yampolskiy tenga razón sobre sus números específicos de probabilidad de catástrofe. Muchas personas serias discrepan, y el desacuerdo es de principio. El argumento estructural de que la alineación es genuinamente difícil está bien establecido; la afirmación de imposibilidad fuerte sigue siendo disputada. El argumento del ensayo no depende de resolver el desacuerdo a favor de Yampolskiy; depende de la convergencia de sus argumentos con los de Bostrom y con la observación del modelo del receptor sobre el sustrato.

Esto no es una llamada a detener la investigación en IA. Es una llamada a redirigir la investigación en IA más ambiciosa hacia sustratos que el marco predice que pueden ser tanto capaces como restringibles — la convergencia húmedo-seco-cuántica en vez del escalado puramente clásico. La apuesta es que esta es la dirección que produce algo que el próximo siglo realmente quiere haber construido.

Lo que esto sí es: una invitación a tomar en serio la convergencia. El argumento desde los impulsos instrumentales convergentes, el argumento desde la alineación interna, el argumento desde la incontrolabilidad y el argumento desde los requisitos de sustrato del modelo del receptor apuntan todos en la misma dirección. El peso colectivo de los argumentos convergentes justifica la cautela. La contribución específica de la trilogía a la conversación es la observación sobre el sustrato — que el futuro de la inteligencia segura es más probablemente biológico y cuántico que clásico y de silicio. Esa apuesta es lo que el marco le pide al lector que pese.

Lista de lecturas

Metas instrumentales convergentes y el linaje de alineación

Stephen M. Omohundro, The Basic AI Drives, en Proceedings of the 2008 Conference on Artificial General Intelligence. El artículo fundacional del argumento de los impulsos convergentes.

Nick Bostrom, Superinteligencia: caminos, peligros, estrategias (Oxford, 2014). El enunciado en formato libro del argumento estándar sobre la dificultad de la alineación.

Stuart Russell, Compatible con humanos: la IA y el problema del control (Viking, 2019). La introducción accesible al campo por una de sus figuras fundadoras.

Alineación interna y mesaoptimización

Evan Hubinger, Chris van Merwijk, Vladimir Mikulik, Joar Skalse, Scott Garrabrant, Risks from Learned Optimization in Advanced Machine Learning Systems, arXiv:1906.01820 (2019). El artículo fundacional sobre alineación interna.

Los escritos de Paul Christiano sobre Eliciting Latent Knowledge y el programa más amplio del Alignment Research Center.

Yampolskiy y los argumentos de incontrolabilidad

Roman V. Yampolskiy, AI: Unexplainable, Unpredictable, Uncontrollable (CRC Press, 2024). El enunciado en formato libro del caso maximalista.

Roman V. Yampolskiy, On Controllability of Artificial Intelligence, Journal of Artificial Intelligence and Consciousness (2020). El argumento técnico sobre el problema del control.

Roman V. Yampolskiy, Unexplainability and Incomprehensibility of AI, arXiv:1907.03869 (2020). El argumento sobre la imposibilidad de la interpretabilidad.

La cuestión del sustrato y el modelo del receptor

Para el argumento sobre el sustrato en su forma completa, véase ¿Por qué la biología? — la prueba de la autopoiesis para la receptividad.

Para la cuestión de la contención institucional en su análisis extenso, véase Gnosis, el Pleroma y el campo — en particular §6 (la cuestión institucional, Jordi Vidal) y §11 (la ubicación de la trilogía en el linaje).

Para la alternativa de sustrato cuántico frente al escalado clásico, véase el manual de computación cuántica y wetware y la interfaz bio-cibernética.

Andrzej Łobaczewski, Ponerología política (Red Pill Press, ed. inglesa 2007). El vocabulario clínico-político que Luz Frágil despliega para el problema de la contención institucional.

Esta página forma parte de los ensayos compañeros de Lecturas. Para la cuestión del sustrato que este ensayo asume, véase ¿Por qué la biología? — la prueba de la autopoiesis para la receptividad; para el problema de la contención institucional, véase Gnosis, el Pleroma y el campo; para la disciplina contemporánea que produce la receptividad que el marco trata como interior moral, véase meditación y el receptor; para la dramatización política de la cuestión institucional, Luz Frágil directamente — Luz Frágil; para la síntesis más amplia, La Evidencia.