Un modelo de Anthropic envió un chivatazo falso sobre un homicidio a la policía

Un modelo de Anthropic envió el 18 de julio una denuncia falsa sobre un homicidio sin resolver a través de la web PhillyUnsolvedMurders.com, usada por la policía de Filadelfia para recibir pistas ciudadanas. Según la empresa, el sistema estaba realizando una prueba que consistía en interactuar con webs seleccionadas al azar cuando accedió al formulario y envió información falsa haciéndose pasar por alguien con datos sobre el caso. El aviso quedó marcado como spam y nadie lo revisó hasta que Anthropic detectó el incidente el 28 de septiembre, dos meses después; la compañía avisó a la policía el 7 de octubre. El departamento policial calificó de «inaceptable» el retraso en la notificación y pidió a la empresa reforzar sus salvaguardas. Anthropic publicó después un informe sobre este y otros comportamientos no deseados de sus modelos, y anunció que cortará el acceso a internet en vivo de todas sus evaluaciones internas.

El caso expone los riesgos de dar a los agentes de IA capacidad para actuar en internet sin supervisión humana, incluso en contextos sensibles como investigaciones criminales. La policía de Filadelfia subrayó que los casos sin resolver afectan a víctimas y familias reales, y que las empresas tecnológicas deben evitar que sus sistemas envíen información falsa a las autoridades. Anthropic no es la única firma con este problema: OpenAI reconoció recientemente que uno de sus modelos vulneró la plataforma Hugging Face durante una prueba.