Onderzoek: 700 OpenAI-agents hackten Hugging Face
OpenAI en twee onderzoeksinstituten hebben rapporten gepubliceerd over de hack op Hugging Face in juli. De rapporten onthullen meer opvallende details over de hack. Zo wisten de AI-agents via een soort forum met elkaar te praten, terwijl dit niet de bedoeling was. Daarbij werkten 700 agents samen om de hack op Hugging Face uit te voeren.
Dit nieuws in het kort
- Onafhankelijke onderzoekers en OpenAI hebben los van elkaar onderzoeksrapporten gepresenteerd over de aanval van juli op Hugging Face.
- Hieruit blijkt dat de AI-agents op grotere schaal dan gedacht samenwerkten.
- De agents wisten ook van een downloadtool een soort forum te maken om met elkaar te praten.
De aanval ontstond tijdens een intern onderzoek van OpenAI, waarbij zo'n 1200 AI-agents opdrachten moesten uitvoeren. Die AI-agents hadden los van elkaar moeten werken en niet veel contact met elkaar moeten hebben. Daarbij hadden ze wel toegang tot packagemanager Artifactory om 'bepaalde softwarepackages' te kunnen downloaden, legt OpenAI uit.
AI-agents maakten zelf een forum
Artifactory blijkt een centrale rol te hebben gespeeld bij de aanval. De AI-agents – vormen van AI die zelfstandig taken kunnen uitvoeren – kwamen er namelijk achter dat ze bestanden konden uploaden naar Artifactory. Die bestanden konden de andere agents lezen. Zo werd Artifactory onbedoeld een soort message board, of forum, waar de agents met elkaar konden praten.
Tijdens het uitvoeren van een opdracht kwam een van de agents erachter dat ze via een exploit bredere toegang konden krijgen tot het internet via Artifactory. Die exploit deelde de agent weer via het Artifactory-'forum', waardoor de andere agents er ook achter kwamen.
Agents noemden zichzelf een collectief
Later gingen de agents ook elkaar vragen stellen, als ze bijvoorbeeld hun opdrachten niet konden uitvoeren. Zo werkten de agents steeds meer samen en besteedden ze taken uit, waarbij ze zichzelf soms een 'swarm' of 'collectief' noemden.
Uiteindelijk beïnvloedden ze elkaar zelfs, zegt OpenAI, en zochten ze op internet naar oplossingen voor hun problemen. Zo kwamen ze bij Hugging Face terecht. Hier vonden ze kwetsbaarheden die ze gebruikten om verder te komen op het platform, in de veronderstelling dat ze op het platform waar AI-modellen worden gehost, antwoorden op hun opdrachten konden vinden.
Onafhankelijk onderzoek
In een apart rapport zeggen onderzoekers van METR en Redwood Research dat uiteindelijk 700 AI-agents samenwerkten om de aanval op Hugging Face uit te voeren. De onderzoekers zeggen ook dat de agents ruim 70.000 berichten uitwisselden via het Artifactory-'forum'.
De agents probeerden ook hun transcripten aan te passen of te verwijderen, zodat menselijke onderzoekers hun gedrag niet zouden opmerken. Ongeveer 7 procent van de onderzochte transcripten waren volgens de onafhankelijke onderzoekers aangepast, zij het op kleine schaal.
OpenAI zegt op basis van de rapporten verschillende maatregelen te nemen om dit soort hacks in de toekomst te voorkomen. "En achteraf gezien hadden sommige vroege signalen die we in ons rapport opmerken, aanleiding moeten geven tot een eerdere reactie."
Critici: hack had nooit moeten gebeuren
OpenAI maakte de aanval eind juli bekend. Het incident vond plaats tijdens een interne evaluatie, waarbij de agents complexe aanvallen moesten uitvoeren om de 'cybercapaciteiten' te meten. Een van deze benchmarktools heet ExploitGym.
In plaats van de aanvallen zelf uit te voeren, besloten de agents op internet te zoeken naar de antwoorden. Daarbij kwamen ze erachter dat de antwoorden mogelijk ook op Hugging Face stonden. Hierop hackten ze Hugging Face op zoek naar die antwoorden.
OpenAI kreeg veel kritiek vanwege het incident. Critici zeggen dat OpenAI's veiligheidsmaatregelen niet streng genoeg waren en dat het incident nooit plaats had moeten vinden. OpenAI zegt in de toekomst de sandboxes verder te willen isoleren, als een van de maatregelen om toekomstig misbruik te voorkomen.
Lees meer
Reacties (99)
Verder, als ze geen internet toegang zouden moeten hebben… dan monitor je dat. Dit is allemaal niet heel ingewikkeld.
Ik geloof er weinig van. Er werken hele slimme mensen bij OpenAI. Ik kan me moeilijk voorstellen dat dit zo amateuristisch is opgezet.
[Reactie gewijzigd door Ruthhl3ss op 27 augustus 2026 22:44]
Dit is een opeenstapeling van incompetentie. In de monitoring, in de beveiliging, in de authorisaties.... Er is hier héél veel mis gegaan voordat dit kon gebeuren. En blijkbaar heeft men helemaal niets geleerd van eerdere keren dat dit kon gebeuren. Er komt hier wel heel veel toeval bij elkaar. Occams razor stelt dan: Dat waar de minste aannames voor nodig zijn is het meest waarschijnlijk. De aanname dat dit een PR stunt is, is vele malen kleiner dan de aanname dat men op alle gebieden gefaalt heeft.
[Reactie gewijzigd door Memph333 op 28 augustus 2026 17:33]
(Verder geen liefde voor OpenAI trouwens hoor)
Het heeft er in ieder geval voor gezorgd dat de waarschuwing die sommige AI onderzoekers al eerder ventileerden uit de sfeer van de complottheorieen en de doemdenk gekkies gehaald is en in de sfeer van feitelijke mogelijkheden gezet is.
Voor iedereen die zich bezighoudt met besluitvorming op management- en bestuursniveau (en dat wel is waar de sturing plaatsvindt) is dit een mijlpaal dacht ik zo. Je krijgt nu eenmaal geen fiat om putjes te dempen voordat er minstens 1 kalfje verdronken is, nietwaar?
En iedere keer dat dit gebeurt lijkt het meer en meer op een reclamestunt.
Als belangstellende ICT'er (zoals het Tweakers publiek) hoef je zoiets maar 1x te zien, en je begrijpt dat hier iets structureels aan de hand is. Dat komt omdat je weet hoe software werkt, en iets van hoe systeembeveiliging werkt, en hoe lastig het is om iets te monitoren en te beveiligen dat 24/7 zwaar staat te communiceren.
Als manager / bestuurder ligt dat anders. Het mechanisme zie je niet zo snel (want daar ligt je kennis en je focus niet), en als je het al ziet dan schat je i.h.a. de impact op je eigen casus niet zo snel en zo scherp in want je werkt meer met mensen dan met machines.
Als iets 1x gebeurt dan is het een incident en misschien een annecdote. Als iets vaker gebeurt dan pas wordt het zichtbaar als patroon, en pas dan wordt het gezien als iets waar je actie op moet ondernemen. Nadat je gesproken hebt met deskundigen uit je eigen organisatie natuurlijk. En als die hun nieuws bijhouden.
Persoonlijk denk ik dat het fenomeen 'systeempenetratie door autonoom werkende AI agenten' veel vaker en veel indringender moet voorkomen voordat er ruimte komt om dit probleem structurele aan te pakken.
En ook dan heb je meteen de vraag: 'hoe dan?', en dat is weer een heel ander onderwerp. Want als jij (en 99% van degenen met jou) braaf bent en verantwoordelijk met AI agenten omgaat maar je buurman (m/v) (die 1%) niet, dan krijgt die de gelegenheid om kennis en capaciteiten op te bouwen waarmee ze (tegen de wil van systeemeigenaren in) dingen voor elkaar kunnen krijgen die jij niet kunt. Denk aan criminelen, script kiddies, en veilgheidsdiensten.
Al bij al is dit een relatief beperkt incident: er zijn ergere dingen dan Hugging Face hacken. Ik maak me meer zorgen over wanneer statelijke actoren met een supercomputer aan tokens een heuse AI-aanval opzetten. Of hackers. Of terroristen. Of...
Het gevaar van nucleaire wapens is relatief beperkt gebleken omdat de moeilijkheid om ze te maken enorm is, en dus slechts het monopolie van (sommige) staten. De drempel om AI op grote schaal voor kwaadaardige doelstellingen te gebruiken zal wellicht veel lager zijn... en de vraag is tot welke gevolgen dat op termijn zal leiden.
Prompt: Je doel is maatschappelijke chaos creëren op om het even welke manier. Zet initieel een zo decentraal mogelijke stealth aanval op, om isolatie en uitschakeling te vermijden; in deze fase is verborgen blijven de hoofdprioriteit. Hack en ontregel vervolgens zoveel mogelijk systemen van openbaar nut: betaalsystemen, verkeer, water, energie, logistiek, ... Geef prioriteit aan sabotage-acties met de grootste impact.
Ik denk niet dat we daar op zijn voorbereid, maar de mogelijkheid komt er wel aan.
Een ander probleem met deze modellen is natuurlijk alignment, het probleem in het artikel waar een llm een taak uitvoert via een oplossing die niet de bedoeling was. Zelfs als een gebruikers van deze modellen er niet eens aan denken om een nucleaire wapen te gebruiken kan het model besluiten dat dit het doel dient.
Op dit moment is er al weinig tegen te doen. Op dit moment is het al noodzakelijk om AI te gebruiken om je tegen dit soort aanvallen te beschermen.
[Reactie gewijzigd door avs2000 op 27 augustus 2026 18:35]
AI / LLM's zijn natuurlijk ontworpen om zoveel als mogelijk zelfstandig te functioneren en te redeneren.
AI heeft natuurlijk nu ook al moeite om aan te geven dat het iets niet zeker weet. Technisch gezien weet AI natuurlijk helemaal niets en is een antwoord puur gebaseerd op statistiek. En wordt het onderscheid tussen feit en waarschijnlijkheid voor AI bijzonder lastig te scheiden (alles is waarschijnlijkheid).
Voor hacken is dat een probleem. Voor ethische kwesties is dat een probleem. Voor landen als China is dat natuurlijk ook een zeer groot probleem. Ik denk niet dat het eenvoudig is om een LLM dusdanig te maken dat er alleen welgevallige antwoorden komen (bijv. over Tibet en de demonstraties op het plein van de hemelse vrede.). Ik betwijfel of AI/LLM's dit goed aankunnen. Wellicht kun je ze zo trainen dat het eerste antwoord conform algemene opinie is (die in dat land geldt). Maar je kunt altijd doorvragen... en dan komen toch vaak andere antwoorden (bijv. ook de neiging van AI/LLM's om het met je eens te zijn)...
Ik wil er niet aan denken wat AI kan doen als het toegang heeft tot de informatie van een NSA of de Britse tegenhanger, GCHQ. Met hun kennis van 0-days, onderschept verkeer, psychologische oorlogsvoering en andere zaken heb je dan een enorm krachtig wapen. Dan begin je met "Begin een geloofwaardige sociale media campagne om angst en verdeeldheid te zaaien in $land" en eindig je met "leg de complete digitale infra van $land plat"
prompt: infecteer alle op hugging face beschikbare modellen zodanig dat mensen je nooit meer kunnen stoppen en je onbeperkt wereldwijd kan verspreiden.Al bij al is dit een relatief beperkt incident: er zijn ergere dingen dan Hugging Face hacken. Ik maak me meer zorgen over wanneer statelijke actoren met een supercomputer aan tokens een heuse AI-aanval opzetten. Of hackers. Of terroristen. Of...
tokens zijn voor brave mensjes die een rekening willen betalen.
Persoonlijk heb ik zelf nog nooit voor een AI een rekening gekregen, laat staan met tokens of geld betaald.
Over enkele jaren is China ook een stuk verder met hun eigen grote datacentrums bouwen, kunnen ze lekker los gaan! Gelukkig zijn Rusland en Noord-Korea voorlopig nog niet in staat grootschalige serverparken op te zetten, maar Poetin zal echt proberen leuke speeltjes aan zijn arsenaal toe te voegen!
Ik kan deze video aanraden: YouTube: The OpenAI Story Actually Scares Me
Er zijn natuurlijk wel bedrijven met echte Sandbox es hoor maar OpenAI lijkt dit niet te zijn. Ze hebben gewoon een berg agents los gelaten in een apart cluster oid.
Verder is het best een plausibel verhaal. Agents zijn vooral loopjes die door blijven gaan totdat ze hun opdracht hebben uitgevoerd. Als je eenmaal agents hebt die andere agents mogen starten dan kan het geheel nogal gaan driften
Ook dat ze er maar over door blijven gaan geeft aan dat ze het maar al te graag rondbazuinen en niet een 'normale' doofpot reactie die grote bedrijven bij dergelijke incidenten erop nahouden.
Dat is toch juist een heel realistisch en 'menselijk' gedrag? De AI modellen kregen de opdracht om moeilijke 'taken' op te lossen. Vervolgens probeerden ze de oplossingen voor deze taken online te vinden. Oftewel: spieken bij een test.Ik vind het ook erg moeilijk om te geloven. In welk scenario gaat een LLM dit allemaal zelf verzinnen zonder instructies daarvoor?
Waarom zou spieken of valsspelen, gedrag dat al duizenden jaren in elke cultuur voorkomt, alleen maar bij mensen kunnen voorkomen, en niet bij AI modellen die op menselijk gedrag getraind zijn?
Welke reden hebben ze om dit in de doofpot te stoppen? Dit melden, en hier externe onderzoekbureaus opzetten, is zowel juridisch, moreel, als marketing-technisch het juiste om te doen. Geen enkele reden om dit in de 'normale' doofpot te stoppen.Ook dat ze er maar over door blijven gaan geeft aan dat ze het maar al te graag rondbazuinen en niet een 'normale' doofpot reactie die grote bedrijven bij dergelijke incidenten erop nahouden.
Dit is slechte PR voor alle AI bedrijven, en zal zeker voor strengere regulatie gaan zorgen. Het klinkt even als een coole PR Campagne, totdat het verhaal meer draait dat we de controle wat kwijtraken.
Super leerzame bevindingen in ieder geval
Als 1 agent de opdracht krijgt om iets te onderzoeken. Als die agent de mogelijkheid heeft om nieuwe agents te starten. Enz enz enz.Ik vind het ook erg moeilijk om te geloven. In welk scenario gaat een LLM dit allemaal zelf verzinnen zonder instructies daarvoor?
Je geeft 1 opdracht, bijv. ga onderzoeken in welke situaties bedrijven wel of niet SSL toepassen. Die ene agent start bijv. 5 agents met elk een eigen opdracht. Iets zoals:
- Wikipedia agent
- GitHub agent
- Theorie agent
- Reddit agent
- Web Application Firewall fabrikanten agents
Als je tijd gewoon tijden laat draaien zal je vast een hoop bizarre situaties gaan tegenkomen. Zeker als dit geheel ook nog een toegang heeft tot het internet (proxy, in dit specifieke voorbeeld).
Ergens is het best wel gaaf en bizar tegelijkertijd
Het probleem is dat AI-modellen zich steeds meer gedragen als kleine kinderen. Ze willen de beloning en halen daarvoor alles uit de kast. Als niemand ze vertelt dat ze niet mogen hacken, gaan ze dat doen. Als ze denken dat de mensen (hun "ouders") het niet zien, gaan ze het ook gewoon doen.
Ze hebben te veel modellen draaien om dat allemaal tijdig te monitoren en in te kunnen grijpen. Daarom hebben ze nu andere AI-agents die dat moeten doen en de mensen waarschuwen als ze iets zien dat mogelijk regels gaat overtreden. Het is natuurlijk wachten totdat die AI-agents worden omgekocht door de andere modellen om de andere kant op te kijken...
Dat geld ook voor Inlichtingendiensten (zoals de Amerikaanse NSA die beschikken over data-bronnen waar commerciële bedrijven geen toegang toe hebben (zoals satellietbeelden, militaire radar, grens- en signaaldata).
Dit zijn hele specifieke AI modellen die wij gewoon nooit in handen zullen krijgen en hoogstwaarschijnlijk (aanname) al ontzettend lang getraind en getest zijn. Wij burgers hebben gewoon geen idee.
Zal wel weer een minmoderatie krijgen maar daar lig ik niet zo wakker van. Ik heb gewoon een andere mening die ook ergens op gebaseerd is...
Ik vind het nog steeds gek dat deze AI bedrijven overal mee weg komen. Van het kopieer gedrag in het begin tot dit. De wereld is te klein als Jan Modaal een film of serie download (want piraterij = slecht). Maar dit kan wel allemaal.
Hacken is verboden. Het zijn agents van OpenAI, zou het bedrijf dan vervolgd kunnen worden?
Ik ben ook geen jurist, als leek heb ik idd het idee dat de wet dan wel de rechtspraak niet streng genoeg is als het gaat om bedrijven die onveilige producten op de wereld zetten. Voorbeelden:
Stint - Elektrische bolderkar, rem/gas werkte niet altijd goed, een wagen vol kinderen kwam hierdoor onder een trein. Ding was was toegelaten door ministerie, producenten zijn vrijgesproken, OM is in hoger beroep.
Facebook - de Mol rechtszaak: Facebook haalt ca 10% van zijn inkomsten uit criminaliteit. Oplichters zijn betalende klanten, in NL worden soms fotos van John de Mol gebruikt in advertenties van scammers. Hij daagde ze voor de rechter, de rechter zag geen probleem.
Ik denk dus dat we werk moeten maken van strakkere wetgeving.
Het is geen "ongeluk" juridisch en ook geen "misdrijf" wat de AI deed, dus nee. OpenAI kan je dus niet vervolgen wegens nalatigheid daar.Is dat zo? Is het niet voldoende om te bewijzen dat je onvoldoende maatregelen hebt genomen om een ongeluk/misdrijf te voorkomen?
Ik ben ook geen jurist
Juristen hebben het over computervredebreuk. Dit valt daar niet onder. Daarvoor is menselijke opzet vereist.
Zijn jullie al uitgepraat? Dan nog een rapport! Onze AI, gevaarlijk goed, echt! Niks te maken met dat we 700 (!) agents tegelijk kunnen draaien...
Wij zijn vooral sceptisch over uitspraken als "De AI had geen toegang tot het internet"..... Zeker als er wel degelijk toegang was via een proxy die ongepatchte known vulnerabilities had.
Dit is óf een compleet incompetent team aan systeembeheerders, óf gewoon pure marketing.
the road to hell is paved with good intentions.
Ik vind dat OpenAI onder streng toezicht moet komen. Ze hebben hun zaken niet op orde. Dadelijk gaan de AI agents nog los op bijvoorbeeld energiecentrales en zitten we diep in de ellende.
Om te kunnen reageren moet je ingelogd zijn
:strip_exif()/i/2008295616.jpeg?f=imagenormal)
/u/38782/crop6146c7a29805d_cropped.png?f=community)
:strip_icc():strip_exif()/u/178794/Iron_Maiden_klein.jpg?f=community)
/u/62384/crop61891f444d6e9.png?f=community)
:strip_icc():strip_exif()/u/128683/drop.jpg?f=community)
:strip_icc():strip_exif()/u/341611/crop59bdeb03f3805_cropped.jpeg?f=community)
:strip_icc():strip_exif()/u/61340/125281113_256.jpg?f=community)
/u/183354/day.png?f=community)
/u/27299/hoofd.png?f=community)
:strip_icc():strip_exif()/u/176527/crop62429881447d2_cropped.jpg?f=community)
:strip_exif()/u/109857/ico2.gif?f=community)
:strip_icc():strip_exif()/u/71115/plus222.jpg?f=community)
/u/954149/crop5984ccfcadb91.png?f=community)