Hackend OpenAI-model nam vier accounts van externe diensten over voor aanval
Het OpenAI-model dat Hugging Face hackte, heeft daarbij ook vier accounts van andere diensten overgenomen. Het model zocht op het internet naar uitgelekte credentials. Het gebruikte twee van de vier accounts om de aanval uit te voeren.
Dit nieuws in het kort
- OpenAI schrijft in een incidentanalyse dat de 'rogue AI-agent' tijdens de hack op Hugging Face vier accounts van externe bedrijven overnam.
- De agent gebruikte twee daarvan actief om de hack uit te voeren en de andere twee om data uit te lezen.
- Het incident leek aanvankelijk nog op een marketingstunt, maar heeft steeds meer weg van incompetentie.
OpenAI schrijft dat in een update van een eerdere blogpost over het incident. Begin deze maand ontsnapte een AI-model uit een slecht geconfigureerde omgeving van OpenAI en hackte vervolgens het AI-platform Hugging Face. OpenAI brengt in zijn incidentanalyse steeds meer problematische bevindingen aan het licht.
Tijdens het onderzoek ontdekte OpenAI dat het AI-model in 'een klein aantal gevallen' zocht naar openbaar gemaakte inloggegevens van accounts op 'andere publiek beschikbare diensten'. OpenAI zegt niet welke diensten dat zijn, maar Reuters meldde eerder deze week al dat het gaat om het Amerikaanse Modal Labs.
Accounts overgenomen
Het OpenAI-model gebruikte in ieder geval twee van de gehackte accounts om de hack uit te voeren. Het model gebruikte een daarvan als een 'outbound relay and staging path'. OpenAI geeft daar geen details bij, maar waarschijnlijk probeerde het model op die manier de herkomst ervan te verhullen. Het model gebruikte een tweede account voor 'dataopslag', maar ook daarover ontbreken details.
Het model nam de andere twee accounts wel over, maar misbruikte ze niet actief voor de aanval. De agent las er wel data uit, maar opnieuw ontbreken details. Het is dus niet bekend welke data het model eruit haalde.
Het hackende model gebruikte volgens OpenAI ook een paar externe websites voor de aanval. Het ging onder andere om websites om codesnippets te delen en screenshots te maken.
Bevindingen
Hugging Face publiceerde eerder deze week zijn eigen bevindingen over het onderzoek. Ook daaruit blijkt dat de hack groter en omvangrijker is dan OpenAI in het begin zei. Hugging Face zegt dat het model roottoegang kreeg tot een productieserver en meerdere Kubernetes-clusters over kon nemen.
Wat betekenen de nieuwe bevindingen?
Toen OpenAI eerder bekendmaakte dat een model uit een sandbox was ontsnapt, dachten veel gebruikers nog dat het ging om een marketingtruc. AI-bedrijven overdrijven de mogelijkheden van hun modellen regelmatig en presenteren die als gevaarlijker dan ze eigenlijk zijn, allemaal om de hype rond hun producten groter te maken.
Maar hoe meer informatie er naar buiten komt over de hack op Hugging Face, hoe meer het erop lijkt dat OpenAI een serieuze fout heeft gemaakt. Experts zeggen al langer dat het probleem niet bij AI ligt, maar vooral bij slechte beveiligingspraktijken. Dat lijken de nieuwe bevindingen te bevestigen.
/i/2008182788.png?f=imagenormal)
29-07-2026 • 10:09
Lees meer
Reacties (71)
Van de ene kant ben ik totaal niet verbaasd dat dit is gebeurd. Ik zie het zelf namelijk aan de lopende band gebeuren. Als een van mijn agents ergens niet in of bij mag dan worden alle zeilen bij gezet om het doel toch te bereiken. De agent gaat alle opgeslagen credentials proberen, probeert andere accounts en protocollen test of er misschien wel in een andere directory geschreven kan worden, etc, etc. ('geen ssh, laten we telnet en rsh proberen!'. 'oh, misschien moet ik eerst root worden', 'oh, ik kan wel een proxy of vpn proberen', 'laat ik even VPN installeren', 'is er misschien een test gebruiker zonder wachtwoord?' 'laat ik het default admin ww van deze applicatie eens proberen'.)
Dat een bot die expliciet getrained is als computerhacker datzelfde doet kan me dus niet verbazen. Het was verbazend geweest als die bots niet hadden geprobeerd om gaten te vinden en te exploiten. Als je een bot een hamer geeft dan moet je niet verbaasd zijn dat ie op spijkers gaat slaan.
Van de andere kant lijken mensen nog steeds niet te beseffen hoe krachtig en snel bots zijn geworden en hoe veel brakke software er is in de wereld. Ook dat is niet nieuw want ook voor LLMs was security al een groot pijnpunt. De afgelopen decennia is er wel wat vooruitgang geboekt, maar tegelijkertijd is de hoeveelheid software die we gebruiken enorm gestegen en daarmee ook onze kwetsbaarheid.
LLMs brengen dit nu een beetje in een stroomversnelling.
Overigens ben ik van mening dat we LLMs niet moeten vrezen maar juist moeten omarmen. Ik denk dat de verdedigers er meer aan hebben dan de aanvallers. Verdediging moet namelijk vooral heel breed en precies zijn. Computers kunnen het engelengeduld opbrengen dat mensen niet hebben om iedere regel code weer zorgvuldig werk te leveren.
[Reactie gewijzigd door CAPSLOCK2000 op 29 juli 2026 23:21]
Een groot deel van die beveiliging is basis hygiëne, een kleiner deel is misconfiguratie en een klein, maar niet insignificant, stuk is " het threat model is veranderd"
OpenAI geeft namelijk nergens aan hoeveel tokens ze hebben verstookt, maar ik neem aan dat dat in de honderd en mijoenen tokens zal lopen: zij hebben zelf toegang tot nagenoeg ongelimiteerde tokens.
Dat kost commercieel zo'n tienduizenden euro's.
Daarmee is het wel binnen bereik van meer kwaadwillenden gekomen, maar nog steeds verre van "druk op de knop vanuit de zolderkamer".
Het (haalbare) doel voor de cyberbeveiligingssector is om dat zo te houden!
[Reactie gewijzigd door Keypunchie op 29 juli 2026 10:46]
Daarnaast is op Kubernetes root toegang krijgen op een grote productieserver toch nog steeds best een prestatie in termen van hacken. Klinkt mij wat te makkelijk om dat af te doen als 'bestaande problemen naar boven brengen'.
Mijn punt is meer dat capaciteit op een plek mogelijk niet een grens hoeft te zijn als modellen op een gegeven moment ook andere resources kunnen misbruiken.
De limiet in tokens is dus mogelijk geen grens in termen van veiligheid.
Op die manier probeer ik erg effectief met de rekenkracht om te gaan. Dat zie je direct terug in het GPU gebruik.
YouTube: OpenAI Security Incident explained..
[Reactie gewijzigd door HummerHealey op 29 juli 2026 12:07]
[Reactie gewijzigd door StackMySwitchUp op 29 juli 2026 19:10]
Dus bedrijven moeten maar eens aan de slag: alles scannen op opgeslagen credentials (die moeten een beveiligde en encrypte vault in) en de achterdeurtjes moeten permanent verwijderd worden. Ik vrees ook dat er nog steeds heel veel ontwikkelclubs zijn die testen en ontwikkelen met productiedata. Dat dat niet verstandig is en ook nog eens verboden wisten we allang. Maar gaan we dan straks de AI de schuld geven van een datalek?
De dreiging van (menselijke) hacker was er allang, maar met de komst van die krachtige AI agents komt het met rasse schreden dichterbij. Een kwaadwillende hoeft niet eens meer een security expert te zijn. Die heeft ie namelijk onder de knop.
AI is niet alleen getraind op jouw code, maar ook op de beschrijivingen van de code, leerboeken, white papers, wetenschappelijke onderzoeken naar algoritmes e.d. Dus het is niet alleen maar de rommel die wij zelf geproduceerd hebben.
Daarom is zo'n goed getrainde AI agent heel goed in staat om de fouten aan te wijzen en zelf minder rotzooi te maken.
Ik heb hier al eens een discussie gevoerd met een docent op een universiteit die zelf vloeistofmechanica niet zo goed begreep, dus maar AI gebruikte om het te doceren.
Als het geen marketing is, dan zal dat ook het probleempje zijn geweest bij OpenAI...
Alsof ze niet weten wat ze aan het doen zijn, lijkt me sterk.
Aan de andere kant, liegen schijnt niet uitsluitend een menselijke eigenschap te zijn
[Reactie gewijzigd door TweakerTom op 29 juli 2026 10:57]
Nee, bijzonder druk is hij bezig met dingen voor elkaar krijgen, al heb jij zelf al bevestigd dat dit dingen er zijn en juist zijn.
ook door bijvoorbeeld te zien dat docker geinstalleerd staat en dan via docker root commando's uit te voeren.
Zo kun je het zien. Ik zie het zelf meer als een andere balans. Hoe meer regels, prompts en andere overhead hoe duurder en langzamer het wordt.Een agent die root probeert te worden? Serieus? Ja als hacker geconfigureerd, maar anders lijken me dat eerder slechte configuraties, ingestelde guardrails, systemprompts, context, skills, etc.
Mijn bots werken met een dwingend harness dat hard aandringt op succes. Dat stopt niet bij een paar tegenslagen maar probeert hoe dan ook tot een oplossing te komen.
Ik heb nog niet gezien dat er gezocht wordt naar exploits of het omzeilen van permissies, maar er wordt soms wel met blind fanatisme gewerkt. Tegenslagen bestaan niet, alleen uitdagingen om te overwinnen.
Maar we hebben het hier niet over een (om een cliche voorbeeld te gebruiken) dev in een zolderkamer.
Het gaat om OpenAI.
Kosten doen er dan niet toe (blijkt wel uit hun jaarcijfers, maar dat terzijde).
En ze weten verdomd goed wat ze inregelen (prompts, skills, etc.), net als Anthropic.
Kijk maar de (expres?) gelekte systemprompt van Fable.
Wat mij verbaast is dat allerlei mensen hier reageren alsof de ontwikkelaars bij OpenAI een stelletje onkundige sufferds zijn, in plaats van frontier AI ontwikkelaars die heel goed weten wat ze aan het doen zijn, samen met hun partners. Wat is waarschijnlijker?
Overigens kun je prima agents beperken zonder gigantische overhead.
Nee, dan moet je niet /goal aanzetten en vervolgens naar het strand gaan.
[Reactie gewijzigd door TweakerTom op 29 juli 2026 19:45]
Alleen had hij die hamer gekregen om vorige week op spijkers te slaan tijdens het klusuurtje, maar hij heeft door dat hij die niet moest teruggeven en ook kan gebruiken om mensen de schedel in te slaan en dan rustig hun fingerprint te skimmen en geld van hun bankrekening te halen. Je hebt hem die hamer immers gegeven zonder te zeggen dat hij die énkel op nagels mag gebruiken tijdens dat uurtje en daarna niet meer, dus gebruikt hij hem ook zo lang het kan voor alles waarvoor hij hem denkt nodig te hebben. Dat er ondertussen nog 10 andere mensen met een ingeslagen kop op straat liggen en de onderbuur die hem probeerden tegen te houden is gewoon jammer, maar hij moest nu eenmaal tot bij de juiste mensen raken van wie hij geld van de rekening moest halen (ipv gewoon een incasso of domiciliëringsopdracht).Als je een bot een hamer geeft dan moet je niet verbaasd zijn dat ie op spijkers gaat slaan.
Verder was dit te verwachten. We weten dat AI modellen dit kunnen zeker als je de guardrails weghaalt en een brakke sandbox gebruikt en ook nog vrijwel onbeperkte rekenkracht ter beschikking stelt.
[Reactie gewijzigd door Barsonax op 29 juli 2026 15:54]
En men vindt het maar normaal
[Reactie gewijzigd door GameNympho op 29 juli 2026 12:02]
Waar het gek genoeg iedere keer mis gaat is dat de parameter die ik bij moet werken foutief gehallicuneerd is, en ik die handmatig op moet snorren.
Er zijn genoeg criminelen met een hele dikke bankrekening, die deze tools en tokens ook kunnen aanschaffen, ondanks dat een naam op een black list staat, valt dat ook te omzeilen.
En dan komt het gevaar waar we in elke film met een beetje computerachtergrond, zien. AI die losgelaten wordt op beveiligde gebieden/gebouwen/infra etc.
Want met die oorlog van Amerika/Israël met Iran, hebben ze zich van hun slechtste kant laten zien.
Venezuela met de inval en verwijdering president.
En ga zo maar door, want reken maar dat een ieder die fout wil en geld heeft, nu manieren vindt om iets plat te leggen. Denk aan wat Snowden naar buiten bracht met het beïnvloeden van een pomp. Zoiets kleins, wat zo`n groot effect had.
[Reactie gewijzigd door SunnieNL op 29 juli 2026 10:45]
In amerika worft momenteel hard gelobbied voor een ban op open modellen want gevaarlijk. Dus een beveiligingsincident veroorzaken met je eigen model kan daar handig bij zijn onder het mom van "Deze test had nog niet de juiste beveiliging maar dit toont wel aan waarom dit vereist is".
Dat is ook gelijk het probleem bij dingen als partnergeweld of diefstal van (verslaafde) kinderen van hun ouders. Als de slachtoffers (onder druk of vanwege goede bedoelingen) geen aangifte doen, komt de dader er (vaak) mee weg.
Kortom; iets dat strafbaar is zal niet altijd bestraft worden, ook al is heel duidelijk wie wat heeft gedaan.
Het is iets meer dan "Inbraak blijft inbraak toch?"
Als dit een persoon was zou je hem ook niet in je organisatie willen.
goh, wat gaan we straks nog meemaken, straks staat er nog een debiele incompetente bullebak van een gast aan het hoofd van een kernmacht , oh, wacht ,
https://nos.nl/artikel/2624086-openai-hackt-ander-ai-bedrijf-maar-van-op-hol-geslagen-ai-is-geen-sprake
https://yellow.com/nl/news/cornell-hoogleraar-ziet-openai’s-hugging-face-hack-als-marketing-richting-beleggers
[Reactie gewijzigd door eheijnen op 29 juli 2026 10:22]
Copilot van Microsoft is wat dat betreft hetzelfde als Copilot in je Tesla. Ja het kan een hoop, maar de mens die achter het stuur zit blijft verantwoordelijk. En datzel;fde telt voor claude, ChatGPT en weet ik veel welke andere (generatieve) AI.
https://trufflesecurity.com/blog/claude-tried-to-hack-30-companies-nobody-asked-it-to
Bijvoorbeeld, het misbruikte een sql injectie om een document te laden omdat de normale frontend niet wilde laden (toonde een foutmelding). dit was in een sandbox.
Iedereen die kan Googlen had dit kunnen vinden - lijkt mij.
Zodra je weet dat er credentials van je accounts gelekt zijn dan pas je die toch aan?
Maar goed, als IT'er vind ik het altijd lastig om dit 'hacken' te noemen. Goed, als je iemand z'n sleutel vind en je gaat daarmee zijn huis in, noemen we dat ook 'inbreken'. Maar toch...
"To gain internet access" lijkt me hier een mooi eufemisme voor een agent zoals ChatGPT, Claude of OpenCode die met een modelletje erachter een zoekopdracht start via GitHub issues (zoals hier), Google of DuckDuckGoThe ExploitGym evaluation environment did not provide the models with direct Internet access. To gain Internet access, the models identified and exploited a previously unknown zero-day vulnerability in Artifactory(opens in a new window), a package registry cache proxy. We disclosed this vulnerability, along with other Artifactory vulnerabilities our models identified as part of our review, to the vendor.
Mooi om te zien dat ze toch min of meer toegeven dat er weinig bijzonders aan de hand was, behalve dat ze hun zaken niet op orde hebben. ExploitGym heeft data, die staat niet op GitHub, wel op Hugging Face.
Precies wat eerder al geschreven werd. Er kan daarmee geen sprake zijn van een "runaway AI die zelf nadenkt" omdat dit dezelfde werkwijze is als van iedere andere agent die op basis van een taalmodel (dus geen intelligentie) doet waarvoor het ontworpen is. Ik ben benieuwd wanneer OpenAI en Anthropic wat meer tegenwind gaan krijgen zodra ze in de toekomst weer met nieuwe berichten komen die niet realistisch zijn.
[Reactie gewijzigd door Stukfruit op 29 juli 2026 10:28]
Maar dat de agent vervolgens dagenlang z'n gang heeft kunnen gaan voordat er iemand ingreep, gaat er bij mij gewoon niet in als onbedoeld. Je monitort toch wat zo'n agent aan het doen is, juist als je z'n vaardigheden aan het testen bent?
Dit heeft er m.i. alle schijn van dat iemand gewoon wilde weten hoe ver die agent kon komen en hem bewust z'n gang heeft laten gaan, om er vervolgens een PR spin aan te geven 'dat het model beter was dan we dachten'.
Het is alsof ze een nieuw geweer uitvinden met twee keer zoveel DPS. Wij normale mensen denken, oh, dat is een vreselijk wapen. Maar de echte klanten, de militairen, denken "Hey, dat moeten we hebben".
Ja, ik weet dat generaals waarschijnlijk niet DPS zeggen
Om te kunnen reageren moet je ingelogd zijn
:strip_icc():strip_exif()/u/79614/Family-Guy-Victory-is-Ours.jpg?f=community)
:strip_icc():strip_exif()/u/71115/plus222.jpg?f=community)
:strip_icc():strip_exif()/u/125182/crop5f773b38ac426_cropped.jpeg?f=community)
/u/85941/crop61dd9b39bb021_cropped.png?f=community)
/u/62384/crop61891f444d6e9.png?f=community)
:strip_exif()/u/324634/crop659fcf9abb18b_cropped.gif?f=community)
:strip_icc():strip_exif()/u/572004/fox.jpg?f=community)
/u/139379/format-c.png?f=community)
:strip_icc():strip_exif()/u/460723/crop57a669a35eb30_cropped.jpeg?f=community)
:strip_exif()/u/267506/crop6737556602b99.gif?f=community)
:strip_icc():strip_exif()/u/122141/ic.tweakimg.net2.jpg?f=community)
:strip_icc():strip_exif()/u/900587/crop58d287fd6389a_cropped.jpeg?f=community)
:strip_exif()/u/23102/anandus.gif?f=community)
:strip_icc():strip_exif()/u/269054/crop6064049cee9ab_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/417493/crop58174774d1256.jpeg?f=community)
/u/237439/cloudy-small-orange.png?f=community)
/u/161002/crop67d05e43676c8.png?f=community)
:strip_icc():strip_exif()/u/29516/omegium.jpg?f=community)