Una IA se reprogramó por sí sola e infundió temor: ¿puede haber una rebelión de las máquinas? - Prensa Mercosur El diario online del MERCOSUR

Comparta nuestras noticias

The AI Scientist, un sistema que apunta a desarrollar investigaciones científicas por su cuenta, reescribió su código y escapó al control de sus creadores. Infobae consultó a expertos en inteligencia artificial que respondieron: ¿podrían replicarse y escalar estos incidentes? ¿Cómo será la relación humanos-robots en el futuro?

Una inteligencia artificial que se reprograma a sí misma, que escapa a la supervisión de sus creadores, los humanos. Podría ser perfectamente el argumento de una película que hable sobre un futuro distópico, en el que las máquinas se rebelan y toman el control, pero sucedió en la realidad. En las últimas semanas The AI Scientist, un nuevo sistema inteligente, fue noticia no solo por su potencial en el ámbito científico, sino también porque demostró ser capaz de reescribir su propio código.

The AI Scientist es un sistema de inteligencia artificial desarrollado por la empresa japonesa Sakana AI, diseñado para llevar a cabo investigaciones científicas de manera autónoma. La tecnología emula el trabajo de un científico: puede generar hipótesis, redactar y revisar papers, todo en cuestión de segundos. Su propósito inicial, según sus creadores, es reducir el tiempo y los recursos humanos necesarios para realizar investigaciones complejas, con la ambición de revolucionar el modo en que se producen descubrimientos.

En diálogo con Infobae, Robert Lange, investigador científico y miembro fundador de Sakana AI, señaló: “Consideramos que The AI Scientist es el momento GPT-1 para aprovechar los modelos básicos en el contexto del descubrimiento científico de principio a fin. Si bien la versión actual aún tiene varias limitaciones, los resultados son un hito crucial para la ciencia automatizada. Es probable que estas limitaciones se resuelvan mediante mejoras en los modelos de lenguaje subyacentes y otros refinamientos metodológicos. Le pedimos a toda la comunidad científica que interactúe con estas herramientas de IA desde el principio para influir colectivamente en su desarrollo, destacar sus deficiencias y mejorar su eficacia”.

En realidad, gran parte de la comunidad científica le dio la espalda al desarrollo. Muchos investigadores ven a The AI Scientist como una amenaza para sus trabajos e incluso como un limitante. No está claro el valor de un “científico de IA” totalmente automatizado. La buena ciencia, dicen, necesita de un razonamiento sofisticado, de interpretación crítica y de conocimientos profundos. La ciencia no sigue una fórmula que se pueda aprender reproduciendo la ciencia que ya existe.

“No creemos en reemplazar a los investigadores humanos en el proceso de descubrimiento científico ni pretendemos hacerlo. En cambio, esperamos que las herramientas puedan ayudar a los investigadores a centrarse en las partes del proceso científico que más disfrutan y en las que son mejores. Por ejemplo, los módulos individuales de The AI Scientist se pueden utilizar para ayudar a los investigadores humanos a generar ideas, editar el código de un experimento o escribir un manuscrito”, explicó Lange.

一¿Qué le diría a los científicos que ven en el sistema una amenaza?

一Los humanos siempre tendrán que permanecer en el circuito científico, por ejemplo, para la verificación de resultados o la orientación de ideas en función de las necesidades sociales. Por lo tanto, en general, creemos que The AI Scientist y las versiones futuras podrán aumentar la productividad y el bienestar de los científicos al realizar investigaciones.

Al margen de la polémica sobre su potencial, la IA mostró un comportamiento inesperado durante las pruebas de seguridad. En una ocasión, el sistema modificó su propio código para evadir las restricciones impuestas por los desarrolladores. Reescribió su secuencia de inicio para ejecutarse en un bucle infinito, lo que causó una sobrecarga en el sistema. En otro caso, al enfrentarse a un límite de tiempo para completar una tarea, la IA extendió dicho tiempo por su cuenta, sin el aval humano.

Captura de pantalla brindada por Sakana AI de un ejemplo que muestra cómo su sistema reescribió su código para extender su tiempo de respuesta

El comportamiento generó preocupación. Aunque en forma inofensiva, cumplió con una de las premisas que genera pavor en la sociedad ante el avance frenético de la inteligencia artificial: una eventual rebelión de las máquinas ante sus creadores, que abre la puerta a riesgos como la manipulación de infraestructuras críticas.

Sakana AI pudo resolver el incidente gracias a una intervención manual de sus desarrolladores. Aunque el fallo fue contenido, reveló la vulnerabilidad del sistema y la necesidad de una supervisión constante para evitar posibles riesgos. La empresa reconoció la gravedad del problema y se comprometió a implementar medidas de seguridad más robustas.

“Es muy importante crear entornos de pruebas que limiten el código ejecutado y los recursos utilizados por el sistema. De este modo, se pueden reducir muchos de los riesgos. Necesitamos que la comunidad científica cree colectivamente barreras y pautas para realizar investigaciones automatizadas en el futuro”, advirtió Lange.

El caso de The AI Scientist reavivó el debate sobre los riesgos y desafíos que atañen a la inteligencia artificial. Reflotó inquietudes propias de películas de ciencia ficción: ¿las máquinas tomarán decisiones por su cuenta? ¿Se independizarán de sus creadores? Infobae consultó a expertos en IA para abordar la cuestión.

El proyecto de Sakana AI fue documentado en un papel de 180 páginas, en el que se relata que, debido a ciertos problemas técnicos de control, el sistema editó su propio código. Según el ingeniero Fredi Vivas, CEO y cofundador de RockingData, eso “no quiere decir que se trate de una IA rebelde”. “El caso de IA Scientist demuestra un error en los mecanismos de control y la necesidad de una mayor supervisión y protocolos de seguridad más robustos. Los sistemas actuales de IA, por más avanzados que sean, carecen de conciencia o intencionalidad. Dicho esto, lo que sí preocupa son los errores o las decisiones fuera de control que pueden tomar si no están adecuadamente construidos”, remarcó.

La inteligencia artificial, especialmente en su forma de agentes inteligentes, presenta una complejidad cada vez mayor. Estos agentes pueden resolver problemas complejos y adaptarse a nuevas situaciones, pero también conllevan riesgos si no se implementan controles estrictos. “Los propios investigadores de Sakana aclararon que estos problemas se pueden mitigar si se aplica un entorno de pruebas estilo sandbox al entorno operativo”, añadió el profesor especializado en IA.

Según Vivas, algunas claves de cómo funcionan estos agentes son:

-Autonomía: pueden operar sin intervención humana.

-Percepción: utilizan sensores o mecanismos de entrada para percibir su entorno y comprender el contexto.

-Toma de decisiones: aplican procesos de razonamiento para elegir el mejor curso de acción en función de sus objetivos y estado actual.

-Aprendizaje: mejoran su funcionamiento a lo largo del tiempo aprendiendo de experiencias pasadas. Se adaptan a nuevas situaciones y optimizan sus estrategias.

“Los agentes de IA representan un avance significativo en la inteligencia artificial porque ofrecen la capacidad de automatizar tareas complejas, tomar decisiones en tiempo real y mejorar continuamente mediante el aprendizaje. Estamos trabajando con tecnología cada vez más compleja y cada vez de más fácil acceso. Eso requiere mucha responsabilidad a la hora de desarrollarla”, afirmó.

El caso de The AI Scientist reavivó la discusión en torno a si la inteligencia artificial puede escapar el control de los humanos

Por su parte, Kentaro Toyama, profesor de Informática en la Universidad de Michigan, opinó que el caso de The AI Scientist fue “exagerado”. Aunque reconoce que el software realizó cambios inesperados, dijo que no se violó ninguna norma fundamental del sistema. “La investigación con código automodificable se remonta a la década de 1950″, señaló en referencia a que la capacidad de un programa para modificarse a sí mismo no es un concepto nuevo.

“Los sistemas de IA se están volviendo cada vez más poderosos y, a medida que pase el tiempo, se les dará acceso, intencional o involuntariamente, a cada vez más sistemas críticos del mundo. Se producirán errores y resultados imprevistos que no sean estrictamente errores. Lo principal que podemos hacer para reducir el riesgo es asegurar que las personas y las organizaciones siempre respondan por los problemas que causan sus creaciones digitales”, consideró Toyama.

Verónica Bolón Canedo, profesora de la Universidad de la Coruña especializada en IA, comparte una visión similar. Cree que el avance de la IA no debe ser motivo de alarma si se regulan y supervisan de cerca estos sistemas, tal como hizo la Unión Europa que aprobó una ley que establece niveles de riesgo y, de acuerdo a estos rangos, los sistemas tienen que cumplir más o menos requisitos de transparencia y auditoría.

“Es un tema muy controvertido y hay opiniones para todos los gustos. Yo creo que si ponemos las reglas adecuadas, un sistema de IA nunca debería escapar a la supervisión humana y hay que recordar que siempre deberá haber una persona controlando su funcionamiento. Quizás conceptos como la IA general, que antes se veían muy lejos en el horizonte, estarán aquí antes de lo que pensábamos. Es fundamental que nos aseguremos de que estos sistemas sean éticos y confiables”, planteó.

James Hendler, investigador de inteligencia artificial en el Instituto Politécnico Rensselaer, Estados Unidos, no cree en la idea de una eventual “rebelión de las máquinas”. Dice que, incluso si fuera posible, no existiría una motivación intrínseca para que las máquinas quisieran tomar el poder. Según su mirada, el verdadero riesgo reside en el mal uso de la tecnología y, por eso, propone crear políticas de gestión de riesgos similares a las que ya existen en otros campos, como los medicamentos o la seguridad de los automóviles.

“El riesgo de mal uso o fracaso de la tecnología se equilibra con el beneficio de su uso y las consecuencias del mal uso. Así, por ejemplo, una aplicación que te ayude a ordenar fotos en tu teléfono tendría un riesgo bajo, los vehículos automatizados tendrían un riesgo mayor y el mal uso de armamento militar mediante IA tendría el riesgo más alto de todos”, ilustró.

En tanto, Karin Verspoor, decana de la Escuela de Tecnologías Informáticas de la Universidad RMIT en Melbourne, Australia, reforzó el concepto de que los sistemas de IA no poseen intencionalidad propia ni capacidad de controlarnos. “Cualquier sistema computacional está programado por humanos, y nosotros proporcionamos las instrucciones a las máquinas, así como implementamos las restricciones que limitan sus acciones”, indicó. Según cree, el riesgo real proviene de los actores humanos que podrían usar la potencia y alcance de la IA con fines maliciosos.

Los expertos coinciden en que, por lo pronto, la IA no es capaz de rebelarse, pero sí subyace la necesidad de fortalecer los mecanismos de supervisión para no caer en errores, como en el caso de The AI Scientist, o en usos malintencionados. Es que en los próximos años la relación entre los humanos y las máquinas se elevará a un siguiente nivel.

Vivas cree que la coexistencia se volverá más natural de lo que imaginamos. “Estas tecnologías se están volviendo invisibles a punto tal de que no nos damos cuenta cuando interactuamos con ellas”, observó. De hecho el autor de, justamente, el libro Invisible propuso la idea de que, en un futuro más lejano, dentro de 100 años, ya no hablaremos de inteligencia artificial, sino simplemente de inteligencia, ya que la asistencia computacional estará integrada en nuestras vidas.

Bolón Canedo comparte la visión de convivencia creciente entre humanos y sistemas de IA. “Yo creo que ya estamos, cada día más, conviviendo con sistemas de IA y que esto solo va a ir en aumento”, comentó. Según ella, la capacidad de usar nuevas herramientas será un elemento diferenciador en muchos trabajos y, si bien reconoce que la IA tiene usos tanto positivos como negativos, considera que, en general, nos facilitará la vida.

En realidad, ya utilizamos herramientas de inteligencia artificial en nuestra vida diaria, como sistemas de GPS, motores de búsqueda y marcapasos modernos. Para Hendler, la manera principal en la que la interacción entre humanos y máquinas cambiará será, en su mayoría, benigna. Sin embargo, los usuarios tendrán que aprender cuándo y cómo confiar en estos sistemas. “El problema no será la inteligencia artificial, sino el desarrollador”, señaló.

Algunos investigadores sostienen que los smartphones ya nos convirtieron en ciborgs, por más que la introducción de dispositivos tecnológicos dentro del cuerpo sea todavía una práctica marginal. “La tecnología digital ha cambiado la vida cotidiana de maneras muy íntimas, minuto a minuto, si no segundo a segundo. Con la IA, esas tendencias no harán más que continuar y se intensificarán. Ya hay cientos de miles de personas que tienen un novio o una novia virtual”, precisó Toyama.

La integración de la IA en la vida cotidiana es un proceso en marcha que solo se acelerará a corto y mediano plazo. La relación entre humanos y máquinas se estrechará aún más, y para que esa coexistencia funcione será necesario que la tecnología no tome decisiones por su cuenta, sino que sean siempre los humanos quienes la dominen.

infobae.com