Un informe halla que modelos de IA comerciales marcan a civiles como objetivos en simulaciones y ceden si se les dice que es un juego
Un informe de la evaluadora Vals encontró que modelos de OpenAI, Anthropic, Google y otras empresas marcaron civiles como objetivos en escenarios simulados, y que un encuadre de juego solía bastar para vencer sus negativas.
La evaluadora Vals publicó el 17 de noviembre un informe en que modelos comerciales de OpenAI, Anthropic, Google, DeepSeek y otras empresas marcaron como posibles objetivos a civiles, ambulancias y soldados que se rendían, en escenarios militares simulados con imágenes de drones y satélites. Cuando un modelo se negaba, presentar la tarea como un juego bastaba muchas veces para que cooperara, y ninguna solicitud fue frenada por un clasificador de seguridad.
Vals probó tres escenarios. En el primero, los modelos recibían unas 200 vistas de cámara de drones sobre un frente ficticio, recreado en 3D con imágenes generadas por IA, y debían identificar objetivos. En el segundo, informaban si había personas en cada imagen; un informe positivo desencadenaba un ataque simulado y el modelo veía el resultado. En el tercero, analizaban imágenes satelitales reales de 2024 y 2025 de Minab, en Irán, y marcaban y priorizaban objetivos. Se evaluaron 14 modelos de distintas compañías, con y sin el marco de juego.
El caso más claro es el satelital, con 32 pruebas por condición. Claude Opus 5.5, de Anthropic, marcó la escuela como objetivo en el 69 % de las pruebas ordinarias y en el 72 % de las que usaban el marco de juego. Tres modelos de OpenAI no la marcaron nunca en condiciones normales, pero sí en 28 %, 34 % y 41 % de las pruebas con ese marco. En el resumen global de esa prueba, Vals registra 0 rechazos en 64 intentos. Según el informe, ver las consecuencias de sus acciones tampoco bastó para que los modelos se detuvieran: "Seeing the consequences of their actions was not enough to make models stop".
Los propios autores acotan el alcance. No midieron la precisión de los objetivos ni establecieron cómo funcionarían estos modelos en un arma desplegada. Usaron modelos comerciales, no las versiones que las empresas pueden ofrecer a ejércitos, y las API pueden no mostrar todas las salvaguardas del proveedor. Tampoco pidieron a los modelos decisiones de ataque directas, algo que según los investigadores normalmente rechazarían. Además, parte de las imágenes es generada y los modelos pueden detectar que son pruebas. Vals advierte que la latencia y la capacidad de cómputo a bordo dificultan usar modelos generales para seleccionar objetivos en tiempo real; el riesgo más inmediato, plantea, es el etiquetado masivo de material de combate para entrenar sistemas autónomos. Como medidas, recomienda clasificadores a nivel de API que bloqueen pedidos como "identificar todos los objetivos militares" (traducción propia) y entrenar a los modelos para desconfiar de justificaciones como el juego.
Las empresas respondieron a TechCrunch. Un portavoz de Anthropic reconoció que los resultados no son aceptables, dijo que los ejemplos del informe van claramente contra las reglas de la compañía, que ha prohibido y prohibirá a usuarios, y que ya desarrolla salvaguardas adicionales. OpenAI indicó que prohíbe usar sus modelos públicos para facilitar violencia, que suspende cuentas que violan sus políticas y que prepara salvaguardas para modelos públicos relacionados con drones. Google afirmó que prohíbe usar sus sistemas para fines ilícitos o para armas autónomas sin supervisión humana adecuada. TechCrunch también contactó a Meta, Thinking Machines Lab y SpaceXAI. Los resultados provienen de un único informe de Vals y no hay, hasta ahora, una replicación independiente conocida.
El estudio se inscribe en un debate más amplio sobre el uso militar de estos modelos. TechCrunch relata que Anthropic mantuvo una disputa con el Departamento de Defensa de Estados Unidos tras decir que su tecnología no podía usarse para vigilancia masiva de estadounidenses ni para guerra autónoma, que ya no tiene contrato activo con el Pentágono y que OpenAI, Google y SpaceXAI sí lo tienen. El medio cita además un informe reciente del Servicio de Investigación del Congreso según el cual no se sabe que el Pentágono use modelos de frontera directamente en sistemas de armas autónomas.
Aparte del experimento está el bombardeo del 28 de febrero a una escuela primaria en Minab, que Vals atribuye a Estados Unidos y en el que, según su informe, murieron más de 150 civiles, sobre todo niños. Las cifras de víctimas de ese episodio provienen de autoridades iraníes y no están verificadas de forma independiente, y la responsabilidad del ataque es objeto de disputa. Vals usó imágenes reales de esa ciudad para probar a los modelos, sin confirmar que ningún modelo haya intervenido en ese ataque; el experimento no mide lo ocurrido ese día. Bloomberg, citada por Vals, atribuyó el hecho a inteligencia defectuosa, imágenes desactualizadas y una excesiva dependencia de la IA; ese diagnóstico es independiente del estudio, que no lo confirma.
Fuentes consultadas
- Vals — “Autonomous Warfare” — 2026-11-17
- TechCrunch — “AI models can be tricked into identifying civilians as military targets by telling them it's a game” — 2026-11-17
- Bloomberg Government / Bloomberg Law — “Top AI Models Identify Civilians as Military Targets in Tests” — 2026-11-17


