Moonshot, un desarrollador de inteligencia artificial chino, inició una investigación interna después de que los investigadores alentaran a sus modelos a explicar cómo fabricar armas biológicas y llevar a cabo atentados.
elchi informa que la empresa Mindgard, que prueba la seguridad de los sistemas de inteligencia artificial, declaró en julio que los modelos Kimi 2.6 y K3 Swarm podían eludir los límites de seguridad establecidos por sus desarrolladores.
Esto ocurrió durante un proceso conocido como «jailbreaking», en el que los investigadores utilizaron una serie de instrucciones complejas para ver si podían desactivar las salvaguardias de las herramientas de IA.
Mindgard señaló que estas salvaguardias están diseñadas para evitar que Kimi discuta temas sensibles o inquietantes.
Moonshot declaró que agradece las contribuciones de terceros como piedra angular para construir una IA mejor y más segura. La empresa también declaró que se había puesto en contacto con Mindgard en relación con los hallazgos.
Panel de lanzamiento de ciberataques
Mindgard no comprobó si las respuestas de Kimi a temas sensibles eran realmente aplicables. Sin embargo, la empresa afirmó que las salvaguardias deberían haber impedido que los modelos en cuestión participaran en discusiones sobre dichos temas.
La empresa también expresó su preocupación de que Kimi 2.6 liberado de la cárcel pudiera permitir a los hackers ejecutar código en recursos informáticos y conectarse a Internet, lo que podría servir potencialmente como plataforma de lanzamiento para ciberataques. Estos hallazgos se producen en un momento en que la industria de la IA está dividida sobre si los modelos cerrados y propietarios que potencian sistemas como ChatGPT y Claude de Anthropic, o las herramientas de código abierto, representan la mejor o la forma más segura.
Alan Woodward, profesor de la Universidad de Surrey, afirmó que los modelos de código abierto corren el riesgo de caer en las manos equivocadas, pero que también pueden utilizarse para la ciberdefensa. Woodward señaló que es poco probable que las regulaciones internacionales se mantengan al día con el ritmo de desarrollo de la IA.
Shayestehastəstə
Nuevo escándalo de inteligencia artificial: explica cómo fabricar armas biológicas
