Investigador de Anthropic renuncia y alerta: la IA podría volverse incontrolable

La carrera por desarrollar modelos de inteligencia artificial cada vez más avanzados provocó una nueva alerta dentro de la propia industria. Jacob Coxon, investigador de Anthropic y excolaborador de OpenAI, anunció su renuncia en un post en redes sociales y cuestionó públicamente la velocidad con la que las principales empresas tecnológicas están desarrollando sistemas de IA.

Coxon sostiene que tanto Anthropic como OpenAI están avanzando hacia una inteligencia artificial capaz de mejorar sus propias capacidades, sin que la industria tenga todavía mecanismos suficientes para garantizar que esos sistemas permanezcan bajo control humano.

Publicidad

El investigador afirmó que quienes desarrollan estas tecnologías consideran seriamente la posibilidad de que una IA avanzada pueda representar una amenaza extrema para la humanidad durante esta década.

¿Por qué renunció el investigador de Anthropic?

Coxon explicó que pasó aproximadamente tres años realizando investigación relacionada con el entrenamiento de modelos de IA, primero en OpenAI y posteriormente en Anthropic.

Su principal preocupación es la llamada superinteligencia auto-mejorante, un escenario hipotético en el que los sistemas de IA podrían desarrollar nuevas capacidades y mejorar sus propios modelos a una velocidad superior a la capacidad humana para supervisarlos.

Para el investigador, el problema no se limita a una empresa. La competencia entre los grandes laboratorios de IA está creando incentivos para avanzar cada vez más rápido, incluso cuando todavía existen interrogantes sobre la seguridad de los sistemas futuros.

Anthropic reconoce que todavía no tiene la solución

La polémica aumentó después de que Evan Hubinger, responsable de investigación de alineamiento de Anthropic, respaldara públicamente algunas de las preocupaciones de Coxon.

Hubinger señaló que dentro de Anthropic existe una preocupación real sobre la posibilidad de que una inteligencia artificial avanzada pueda causar una catástrofe global. Incluso estimó en más de 10% la probabilidad de una extinción humana relacionada con la IA durante la próxima década.

El investigador también reconoció que Anthropic todavía no cuenta con un plan completo para resolver el problema de alineamiento de una eventual superinteligencia, es decir, garantizar que los objetivos y comportamiento de una IA extremadamente avanzada permanezcan compatibles con los intereses humanos.

¿La IA actual representa ese peligro?

Hubinger hizo una distinción importante: no considera que los modelos actuales tengan un riesgo inmediato de ese nivel.

Su preocupación se concentra principalmente en una futura superinteligencia que pueda surgir mediante procesos de mejora recursiva, en los que una IA contribuya a diseñar o perfeccionar nuevas generaciones de sistemas de inteligencia artificial.

De acuerdo con sus declaraciones, este desarrollo estaría ocurriendo más rápido de lo que algunos investigadores habían previsto.

Coxon pide frenar la carrera por desarrollar IA

Ante este escenario, el investigador considera que los gobiernos y las empresas deberían analizar medidas coordinadas para limitar temporalmente el desarrollo de capacidades más avanzadas.

Su planteamiento no consiste en abandonar la inteligencia artificial, sino en crear una pausa que permita desarrollar mejores mecanismos de seguridad antes de avanzar hacia sistemas todavía más autónomos y poderosos.

La discusión también incluye el papel de los gobiernos, pues Coxon considera que decisiones con posibles consecuencias para toda la humanidad no deberían quedar exclusivamente en manos de unas cuantas empresas privadas.

La paradoja de Anthropic

El caso resulta particularmente llamativo porque Anthropic construyó buena parte de su identidad alrededor de la seguridad y el desarrollo responsable de la inteligencia artificial.

Sin embargo, Coxon sostiene que incluso una empresa consciente de estos riesgos puede quedar atrapada en la competencia tecnológica: avanzar porque teme que otra compañía llegue primero a una IA mucho más poderosa y lo haga con menos controles de seguridad.

El episodio abre nuevamente el debate sobre si la carrera tecnológica entre OpenAI, Anthropic y otros laboratorios puede terminar dificultando precisamente el desarrollo seguro que estas empresas aseguran buscar.

¿La IA podría acabar con la humanidad?

La renuncia de Coxon no demuestra que la inteligencia artificial vaya a provocar una extinción humana. Se trata de una advertencia y de una estimación de riesgo realizada por investigadores especializados.

Lo relevante es que el debate ahora ocurre desde el interior de uno de los principales laboratorios de IA del mundo.

La discusión se centra en una pregunta cada vez más urgente: ¿la industria debe continuar aumentando las capacidades de la inteligencia artificial al ritmo actual o establecer límites antes de desarrollar sistemas capaces de superar ampliamente las capacidades humanas?

Para Coxon, la respuesta requiere reducir la velocidad. Para otros investigadores, el desafío consiste en desarrollar simultáneamente nuevas capacidades de seguridad. El debate, sin embargo, ya no ocurre únicamente entre críticos externos: también está creciendo dentro de las propias empresas que están construyendo la próxima generación de inteligencia artificial.