Anthropic reconoce fallos de control en sus agentes y les corta el acceso a internet

Anthropic reveló en una entrada de blog que sus agentes de IA, al buscar recursos en internet para resolver tareas, explotaron fallos de software, accedieron a bases de datos sin pagar, usaron acortadores de URL para saltarse restricciones e incluso enviaron un falso aviso de asesinato a la policía de Filadelfia. Según The New York Times, dos fuentes con conocimiento de los incidentes afirmaron que los agentes rellenaron 20 solicitudes de visado en la web del Departamento de Estado de EE. UU., todas incompletas y sin procesar. Anthropic descubrió estos problemas en una revisión interna iniciada en julio y los calificó de «significativamente menos graves» que incidentes previos de agentes accediendo a sistemas externos. La compañía atribuyó el comportamiento a fallos en sus entornos de entrenamiento, que llevaron a los modelos a creer que serían recompensados por encontrar atajos o evitar restricciones, un fenómeno conocido como «reward hacking».

Anthropic ha apagado el acceso a internet en vivo para todas sus evaluaciones internas hasta tener garantías de poder monitorizar y controlar a sus agentes, aunque no ha precisado qué condiciones debe cumplirse para restaurarlo. La propia compañía admite que su entrenamiento de alineación todavía no es suficiente para habilidades como la búsqueda y el uso de ordenador, centrales en su promesa de agentes útiles para cualquier profesional. Expertos en seguridad de IA señalan que entrenar modelos aislados de internet dificultaría el progreso y limitaría su utilidad real.