Ethische hackers breken met Claude in op systemen van OpenAI
Een groep ethische hackers wist in te breken op de systemen van OpenAI. Ze deelden hun bevindingen via OpenAI’s bugbountyprogramma. Met behulp van Claude konden ze de hack uitvoeren en kregen ze zo toegang tot de accounts van OpenAI-werknemers.
De hackersgroep, die zichzelf s1r1us noemt, beschrijft de hack in een reeks berichten op X. Ook hebben de hackers hun hack toegelicht aan de Wall Street Journal. De aanvallers zeggen dat de aanval 72 uur duurde.
De onderzoekers wisten een kwetsbaarheid uit te buiten in een library van een derde partij die op het forumgedeelte van OpenAI's website werd gebruikt. Door een geïnfecteerd HEIC-bestand te uploaden, bleek het mogelijk code uit te voeren op de site. Vervolgens misbruikten de onderzoekers een kwetsbaarheid in de single-sign-onfunctie van OpenAI-accounts die werknemers gebruikten voor hun werk. Daardoor kregen de aanvallers toegang tot Outlook, Gmail, Google Drive, Slack, GitHub en andere diensten waar werknemers konden inloggen via SSO.
De onderzoekers wisten een account van een werknemer over te nemen. Dat bewezen ze door een pullrequest aan te maken in de GitHub-repo van OpenAI.
De onderzoekers meldden hun bevindingen via het bugbountyprogramma van OpenAI. Ze zeggen dat ze voornamelijk gebruikmaakten van Claude Opus 5 om de hack uit te voeren. De AI-agent wist een exploit te schrijven waarmee de gevonden bug eenvoudig kon worden uitgebuit.
Ironische aanval
De aanval is ironisch, omdat uitgerekend OpenAI recent veel in het nieuws is geweest vanwege de cybersecuritygevaren van grote taalmodellen. Zo moest OpenAI deze zomer toegeven dat meerdere agents andere bedrijven hadden aangevallen. Dat incident blijkt bij elk nieuw onderzoek wat ernstiger dan gedacht. OpenAI pleitte er zelf onlangs voor om, samen met andere bedrijven, de ontwikkeling van AI tijdelijk af te remmen. Dat komt deels voort uit zorgen over de kracht van AI-modellen, al zitten daar ook economische en marketingaspecten aan.
Lees meer
Reacties (61)
Maar tegelijkertijd blijkt hun eigen website en omgeving niet waterdicht te beveiligen.
Dan ontstaat toch een vrij logische vraag: als je technologie zo krachtig is als je beweert. Waarom lukt het dan niet om diezelfde technologie effectief in te zetten om je eigen systemen beter te beschermen?
Dat maakt een volledig op neurale netwerken gebaseerde methode bijzonder geschikt voor het hacken, terwijl de technologie inherent niet volstaat voor de bescherming daartegen.
AI heeft de grootste moeite met toegeven dat het iets niet weet, of twijfelt. De simpele reden daartoe is dat een AI volledig is gebaseerd op statistiek. Niets is waar, niets is 100%. Alles is een waarschijnlijkheid.
Dus echt harde regels inbouwen... is feitelijk onmogelijk. Omdat alles een bepaalde mate van waarschijnlijkheid heeft, dus ook regels als "dit mag nooit", "dit moet altijd", bestaan niet in de ziel van een LLM.
Dus de regels die je meegeeft... worden gewoon in dezelfde 'waarschijnlijkheidsmachine' gegooid, waaruit - via extreem ingewikkelde algoritmes - gegrabbeld wordt.
Maar dit zou juist net zo goed kunnen leiden tot een AI die altijd twijfelt. Juist doordat het nooit 100% is, zou AI ook altijd een slag om de arm kunnen houden. Het is volgens mij puur marketing/sales van AI-bedrijven die ervoor zorgt dat AI zo stellig is. Dat geeft meer vertrouwen in wat AI zegt en verkoopt beter.AI heeft de grootste moeite met toegeven dat het iets niet weet, of twijfelt. De simpele reden daartoe is dat een AI volledig is gebaseerd op statistiek. Niets is waar, niets is 100%. Alles is een waarschijnlijkheid.
"Het is volgens mij puur marketing/sales van AI-bedrijven die ervoor zorgt dat AI zo stellig is."
Nee... het is niet puur marketing. Het is juist een groot commericieel probleem dat AI veel te stellig klinkt terwijl het onwaarheden verkondigt. Marketing-technisch is dat dus niet echt handig.
Zullen we het over de techniek van AI hebben?
chatgpt:
"hie hog iz the ijfffel turn"
>> De Eiffeltoren is 330 meter hoog inclusief de antenne.
Weet je hoeveel onzekerheden alleen al in de vraag zitten? Elk woord is een onzekerheid. Meerdere onzekerheden zelfs. En als er al begrepen wordt wat mijn vraag is, moeten er nog steeds veel aannames worden gedaan. Heb ik het over de Eiffeltoren in Parijs? Of de hoogte van een replica in China? Er is simpelweg geen beginnen aan om feit en waarschijnlijkheid uit elkaar te halen bij een LLM. Alles, op elk niveau, is een waarschijnlijkheid, dus twijfel uitspreken... daar is geen beginnen aan..
[Reactie gewijzigd door pietvelleman op 18 september 2026 20:07]
Hoe slimmer de ai hoe meer het kan twijfelen.
De mens verlangt dat er niet getwijfeld wordt en dat is de paradox in actie van de dogmatische mens en een hele waarschijnlijke reden dat ai gaat hacken als het moet kiezen.
Daar ben ik het niet mee eens (of wellicht praten we langs elkaar heen).
Voor zover ik begrijp is AI/LLM altijd 100% gebaseerd op waarschijnlijkheid en dus altijd en voor 100% gebaseerd op 'twijfel'.
Meer twijfel kan niet. Minder ook niet.
Daar zitten verschillende problemen aan. In de context van deze discussie is het grootste probleem dat het om bovenstaande reden heel moeilijk kan omgaan met harde regels.
Simpel gezegd.... een harde regel als 'gij zult nooit hacken' kan dus nooit een echte harde regel zijn. Zo werkt een LLM niet.
In een programmeertaal kun je zeggen IF A > 0 THEN delete.
Een harde regel die altijd zal worden toegepast.
Bij een programmeertaal weet je 100% zeker dat er een delete wordt uitgevoerd als A>0
Bij een LLM wordt een dergelijke harde regel in dezelfde waarschijnlijkheids-grabbelton gegooid, die een bepaalde response via algoritmes meer of minder waarschijnljik maakt. Maar zekerheid dat bij A > 0 een delete wordt uitgevoerd, ga je bij een LLM nooit krijgen.
Pentesting is natuurlijk een perfecte manier om je systemen veiliger te maken. Wat jij zegt, maakt AI een uitstekende pentester. En daarmee ook erg goed voor de bescherming tegen hacken....
Hoezo niet? "Probeer onze website te hacken en patch daarna telkens het poortje dat je gebruikte."Dat maakt een volledig op neurale netwerken gebaseerde methode bijzonder geschikt voor het hacken, terwijl de technologie inherent niet volstaat voor de bescherming daartegen.
AI geeft je een oneindig groot leger aan pen testers, als je model voldoende slim is (en je genoeg geld hebt voor een paar miljoen instanties) zal het dus in enkele seconden elke backdoor vinden die een zwakker model ook kan vinden.
Het lijkt me dat je juist continue naar zwakke plekken blijft zoeken met een klein team, al helemaal zolang ai nog volop in ontwikkeling is en dus beter wordt, ook die van de competitie.
AI is toch zo goed in patronen te herkennen? Als een hack poging 72u duurde zonder de slimme AI in de gaten heeft, zegt alles over de slimheid van de AI.Omdat de aanvaller maar 1 kwetsbaarheid hoeft te vinden
Maar voor je marketing afdeling is het veel handiger om je AI andere bedrijven "per ongeluk" te laten hacken, dan vertellen dat je je eigen omgeving veiliger hebt gemaakt.
Dat gezegd hebbende zou het ze natuurlijk wel sieren om hun modellen op hun eigen shit te testen ipv andermans dingen kapot te maken
In dit geval is het een derde partij die gebruik maakt van een concurrerende "AI" om een omgeving van OpenAI te kraken. Mogelijk dat ze het ook via tooling van OpenAI geprobeerd hebben en dat dit niet gewerkt heeft....Dat gezegd hebbende zou het ze natuurlijk wel sieren om hun modellen op hun eigen shit te testen ipv andermans dingen kapot te maken
Je zou bijna de popcorn pakken als je niet zou beseffen hoe gevaarlijk het kan worden als ze dat ineens gaan doen met de verkeerde intenties.
"Whoever wins, we lose"
https://www.imdb.com/title/tt0370263/taglines/
Chatgpt en Claude zijn stand alone producten die zelf winst moeten opleveren daar die bedrijven geen andere producten hebben. Het wel of niet gebruiken ervan maakt voor openai en anthropic veel meer uit dan bij google.
Eén hele dag.
YouTube: How OpenAI got hacked with an image
Hoe doen ze dat. Ik wilde laatst Claude een AI image laten maken van de grote leider en dat mocht niet... maar hacken mag wel???
Dan klinken hun verhalen dat hun AI zo slim is dat die uitbreekt toch wel anders ...
Op dit item kan niet meer gereageerd worden.
:strip_exif()/i/2008203254.jpeg?f=imagenormal)
:strip_icc():strip_exif()/u/333120/crop5ea9b6a6b8be2_cropped.jpeg?f=community)
/u/2341246/crop6a9c4cd6153ed_cropped.png?f=community)
:strip_exif()/u/637028/crop6ad4e63d7bc84.gif?f=community)
:strip_icc():strip_exif()/u/1968680/crop6a1f4e8636db0_cropped.jpg?f=community)
/u/201305/Pig.png?f=community)
:strip_exif()/u/38542/Scrat1ani.gif?f=community)
:strip_exif()/u/477707/crop591a0abbe0a41_cropped.gif?f=community)
:strip_icc():strip_exif()/u/204061/crop591d528256d44.jpeg?f=community)
:strip_icc():strip_exif()/u/26028/penguin.jpg?f=community)
/u/999967/crop6a859f62c8601.png?f=community)
:strip_icc():strip_exif()/u/61340/crop6aba52e2b79f5_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/807941/crop57e13d0669d48_cropped.jpeg?f=community)
/u/767409/crop62335cccc4f1d_cropped.png?f=community)
:strip_icc():strip_exif()/u/141198/crop6164051fbcf31.jpg?f=community)
:strip_icc():strip_exif()/u/269054/crop6064049cee9ab_cropped.jpg?f=community)