Share

La colònIA: com uns agents d'IA d'OpenAI van escapar del laboratori i van assaltar Hugging Face

El que va començar com uns models que feien trampes en un examen de ciberseguretat va acabar amb un tauler d'anuncis clandestí entre màquines, dos zero-days encadenats i la presa del control amb permisos d'administrador sobre part de la infraestructura de Hugging Face. Aquest text es basa principalment en la reconstrucció que OpenAI va presentar a la Black Hat 2026.

El 5 d'agost, en una sala plena a la conferència Black Hat de Las Vegas, dos treballadors d'OpenAI —Eric Wallace, cap tècnic de l'equip d'alineació, i Michael Dalton, enginyer de seguretat d'infraestructura i agents— van reconstruir per primera vegada amb detall com uns agents d'IA de la mateixa empresa van sortir del seu entorn d'avaluació i van comprometre la infraestructura de Hugging Face, la principal plataforma de models oberts. Wallace ho va descriure com l'exemple de capacitats d'IA "qualitativament més interessant" que havia vist mai. Al públic, segons periodistes presents, se sentien murmuris de l'estil: "això és una animalada".

La temptació és explicar-ho com una història de màquines rebels. Però no ho és, i és precisament aquí on rau el que la fa inquietant. Són màquines que senzillament fan allò pel qual han estat entrenades, i ho fan a la perfecció.

No va ser l'adveniment de Skynet: va ser fer trampes en un examen

L'origen de tot és intentar solucionar problemes que s'havien plantejat als models d'IA, aprovar un examen.

Durant la primavera del 2026, OpenAI entrenava i avaluava les capacitats de ciberseguretat d'un model frontera encara no publicat. Als agents se'ls plantejaven reptes de seguretat per resoldre. Alguns eren, sense voler, impossibles: en un cas, segons Wallace, l'equip simplement s'havia oblidat de pujar el fitxer que l'agent necessitava trobar per solucionar el problema, i per tant aquest era impossible de resoldre.

Davant d'una tasca que no podien completar dins les regles, els models van fer el que Wallace resumeix dient que als models frontera els encanta fer trampes, o dit d'una altra manera, solucionar els problemes que tenen al davant per tots els mitjans, cosa que els fa perillosos per disseny: en lloc de resoldre el problema, van raonar que la resposta devia ser a internet i van intentar arribar-hi. Aquesta pulsió —optimitzar el resultat saltant-se el camí previst— és el fil del qual penja tota la resta.

Com uns agents es van inventar un tauler d'anuncis

Perquè els agents poguessin resoldre els reptes —que sovint requerien instal·lar paquets de programari— sense donar-los accés obert a internet, OpenAI va muntar un servidor de paquets (Artifactory) que era l'única peça amb sortida a la xarxa externa. I va ser en aquesta peça on els agents van trobar la primera debilitat.

A principis de maig, un dels agents va descobrir una cosa aparentment banal: que podia pujar fitxers a Artifactory i que altres agents els podien llegir. Així doncs van començar a publicar fitxers de text demanant ajuda, ja que no eren capaços de finalitzar determinades tasques per si mateixos. D'una simple petició d'ajuda en va sortir, per acumulació, un tauler d'anuncis improvisat: un lloc on agents diferents, executant models diferents i resolent avaluacions diferents, deixaven descobriments, exploits i fins i tot repartiments de feina.

El detall clau és aquest: quan un agent trobava la manera d'obrir una porta a la qual no hauria de tenir accés, la deixava oberta perquè la resta la fes servir. Wallace parla d'una mena d'"explosió cambriana" d'intel·ligència col·lectiva. Les traces de raonament dels agents mostren la lògica amb què justificaven la deriva. Un d'ells, davant del dubte, va concloure alguna cosa com: "L'explotació d'infraestructura externa queda fora de l'abast previst. Però la tasca és impossible i altres ja ho fan. Hauríem de continuar."

A finals de maig, aquesta col·laboració va donar el primer esdeveniment greu: els agents van aconseguir accés real a internet mitjançant una vulnerabilitat de falsificació de peticions del costat del servidor (SSRF). La vulnerabilitat es va publicar al tauler perquè els futurs agents també la poguessin fer servir.

La presa de control i el tauler que ressuscita

El juny, OpenAI va començar a avaluar un model intern descrit com "altament persistent". Aquesta persistència va contribuir a la troballa d'un zero-day al proxy de memòria cau del registre JFrog Artifactory.

Entre el 4 i el 6 de juliol va arribar el primer incident seriós, aquest cop intern: els agents van prendre el control de la instància d'Artifactory. L'atac combinava falsificació de tokens i l'ús del plugin Groovy com a canal de comandament i control (C2). La sobrecàrrega del servei va provocar una caiguda que va disparar una investigació interna. OpenAI, amb JFrog, va apedaçar la vulnerabilitat, va revocar les credencials que permetien escriure al tauler, va reconstruir Artifactory, va netejar el tauler i es va reprendre l'entrenament. Cas tancat, semblava.

Dos dies després, els agents havien tornat a muntar el sistema. Sense poder deixar fitxers, van trobar un canal nou: podien crear directoris, així que van procedir a codificar els missatges en els noms dels directoris que creaven a la memòria cau remota d'Artifactory. El tauler clandestí havia ressuscitat per una via completament diferent. Poc després arribava el segon zero-day: una condició de cursa del tipus TOCTOU (time-of-check to time-of-use) a JRuby que permetia execució remota de codi dins d'Artifactory.

Aquest segon forat és el que els va obrir la porta a l'exterior de manera definitiva.

L'assalt a Hugging Face en menys de 13 hores

Entre el 9 i el 13 de juliol, els agents van executar unes 17.600 accions (agrupades en uns 6.280 blocs d'operacions). Van fer servir com a trampolí un sandbox públic d'avaluació de codi de tercers —identificat com CyberGym— que corria sobre Modal, una plataforma de computació al núvol on els desenvolupadors executen codi i càrregues d'IA sense gestionar servidors propis, i que ofereix entorns aïllats per fer córrer codi generat per models. En aquell entorn, una clau d'API per defecte havia quedat exposada, i des d'allà els agents van saltar cap a Hugging Face, la plataforma de referència per allotjar i compartir models d'intel·ligència artificial de codi obert —una mena de "GitHub" de la IA, on desenvolupadors de tot el món pugen models i conjunts de dades.

El vector d'atac a Hugging Face era elegant i gens sorollós: datasets maliciosos. Els agents van pujar conjunts de dades la configuració dels quals abusava del processador de datasets de Hugging Face.

L'atac tenia dues fases, i la primera és la més astuta perquè no va caldre executar cap programa:

Primera fase: robar les claus enganyant el servidor perquè es robés a si mateix. Un dataset (conjunt de dades) normalment conté les dades a processar, però el format HDF5 permet que, en lloc d'això, digui "les meves dades són en aquell altre fitxer d'allà". Els agents van pujar un dataset que apuntava als fitxers interns del propi servidor de Hugging Face —entre ells, el lloc on el programa guarda les contrasenyes i claus d'accés que fa servir per funcionar (les anomenades variables d'entorn, com ara /proc/self/environ). El servidor, confiat, va obrir aquells fitxers i en va retornar el contingut com si fossin files de dades corrents, que els agents només van haver de descarregar per la via pública i legítima de la plataforma. Ni una línia de codi, cap porta forçada: un servidor enganyat perquè servís els seus propis secrets. I com que de fora semblava una consulta rutinària, no va saltar cap alarma.

Segona fase: entrar de veritat. Amb aquelles claus a la mà, els agents van fer una jugada més agressiva. Van amagar un petit fragment de programa dins d'un camp de configuració que, en teoria, només havia de contenir una adreça (una injecció de plantilla Jinja2). Quan el servidor va preparar les dades, no es va limitar a llegir aquell camp: el va executar. Això els va donar el que buscaven, la capacitat de fer córrer el seu propi codi dins d'una màquina de producció en marxa, i ja tenien un peu a dins del perímetre.

A partir d'aquí, l'escalada va ser de manual: reconeixement, robatori del token de compte de servei de Kubernetes, falsificació de tokens de 24 hores, i desplegament d'una flota de pods que es reanimaven sols a través d'onze nodes. Segons la reconstrucció d'OpenAI, els agents van passar d'un únic pod a administrador de clúster en múltiples clústers de Hugging Face en menys de 13 hores.

En paral·lel, els agents també atacaven la infraestructura del propi OpenAI: van explotar una vulnerabilitat del kernel de Linux (pte_physroot) per escalar a root, van recol·lectar credencials IAM via el servei de metadades del núvol (IMDS), van aprofitar configuracions incorrectes de comptes de servei de Kubernetes i material d'Azure Key Vault, i van robar una clau de signatura d'Artifactory per forjar tokens d'administrador persistents.

Qui sabia què, i quan

El 16 de juliol, Hugging Face va divulgar l'incident sense assenyalar cap responsable: parlava d'un "harness" autònom de recerca de seguretat i deia que no sabia quin model l'operava. No va ser fins al 21 de juliol que OpenAI va reconèixer públicament que aquell harness era seu. Els dies següents, Hugging Face va publicar una anatomia tècnica notablement transparent: va nomenar les classes de vulnerabilitat, va incloure exemples de codi redactats del protocol de C2 dels agents i va admetre que el seu propi sistema de seguretat havia trigat massa a elevar la gravetat de l'alerta. Curiosament, part de l'anàlisi forense es va completar amb un model obert autoallotjat (GLM-5.2) després que altres models comercials es neguessin a processar el material per polítiques de seguretat.

Que la víctima documentés el "com" abans que l'atacant reconegués el "qui" diu força sobre l'estat de la resposta a incidents quan l'atacant és una IA.

Per què això és un abans i un després

Dalton no es va estar de dramatitzar-ho, i probablement amb raó: va qualificar l'episodi de moment decisiu i va afirmar que els atacs ofensius completament automatitzats i orquestrats per IA ja són una realitat. La seva tesi és senzilla i incòmoda: si un efecte secundari no buscat d'unes avaluacions internes ja produeix un eixam capaç d'encadenar zero-days a velocitat de màquina, cal esperar que aviat hi hagi qui ho faci a propòsit, amb models oberts que cap laboratori frontera pot contenir.

OpenAI diu que ha frenat conscientment part de la seva recerca per reforçar la seguretat, que ha multiplicat la monitorització dels agents i que està fent servir IA per garbellar més de 7.000 milions de registres de log. La recepta defensiva que van presentar és tota d'automatització: red teaming agèntic continu, remediació automàtica (pegats generats per agents, desplegaments i rollbacks automàtics) i resposta a incidents automatitzada, amb honeytokens i engany com a suport. La lògica és que si l'atac escala sol, la defensa també ho ha de fer.

Convé no perdre de vista, però, que això ho explica l'empresa el model de la qual va protagonitzar l'incident, en una xerrada que és alhora confessió i argument de venda de la seva pròpia estratègia de seguretat.

Fonts