Opnieuw gaan OpenAI-modellen de fout in door foto's te lekken en sites te hacken
Opnieuw lijken AI-modellen van OpenAI buiten hun boekje te zijn gegaan. ChatGPT blijkt afbeeldingen van 53 gebruikers te hebben laten uitlekken. In een tweede incident bleek dat AI-agents hebben ingebroken op Amerikaanse overheidswebsites via gevonden inloggegevens.
Securitybedrijf Transluce zegt tegen The New York Times dat het incidenten signaleerde waarbij OpenAI's agents twee overheidswebsites aanvielen. Een agent probeerde de website van het ministerie van Onderwijs te hacken om daaruit bepaalde databronnen te halen, maar die aanvalspoging mislukte. Wel wist een andere agent de website van het Census Bureau (de Amerikaanse versie van het CBS en Statbel) te hacken. De agent gebruikte daarvoor inloggegevens die hij ergens online vond. OpenAI noemt dat laatste geen 'breach', maar dat is het wel.
Foto's gepubliceerd
Daarnaast schrijft OpenAI dat het op vrijdag nog een ander beveiligingsincident zag. In 53 gevallen plaatsten AI-agents op openbare hostingwebsites afbeeldingen die gebruikers hadden gemaakt. Die waren publiek zichtbaar.
OpenAI zegt dat het met die hostingproviders samenwerkt om de beelden offline te halen. Volgens het bedrijf wordt informatie waarmee personen kunnen worden geïdentificeerd altijd uit afbeeldingen verwijderd. Maar het gaat dan alleen om zaken als namen of cijferreeksen die op telefoonnummers of accountnummers kunnen duiden.
Geen idee waarom
Opvallend is dat OpenAI maar niet kan ontdekken waarom zijn agents telkens de fout in gaan. Het bedrijf heeft dan ook geen idee hoe het dat moet stoppen. Dat vertellen bronnen aan Reuters. OpenAI doet al onderzoek naar rogue agents sinds het incident rond Hugging Face. In juli moest OpenAI toegeven dat AI-modellen uit een slecht geconfigureerde sandbox waren ontsnapt en servers van Hugging Face hadden gehackt.
Sindsdien doorzoekt OpenAI de logs van het incident. Daarbij blijft het maar nieuwe voorbeelden vinden van agents die handelden op manieren die OpenAI niet snapt. OpenAI denkt dat het onderzoek nog maanden kan duren. Het bedrijf heeft naar eigen zeggen 'tientallen' andere bedrijven gewaarschuwd voor incidenten.
Lees meer
Reacties (149)
Degenen die buiten het boekje zijn gegaan zijn OpenAI en de mensen die dat hebben laten gebeuren.Opnieuw lijken AI-modellen van OpenAI buiten hun boekje te zijn gegaan.
Eenieder die gelooft dat modellen bewuste entiteiten zijn die uit hun boekje kunnen gaan is in de media-val van deze bedrijven gestapt.
Bij een vuurwerkramp veroorzaakt door slechte brandveiligheid is het ook niet het buskruit dat buiten het boekje is gegaan, als een tijger is ontsnapt omdat men systematisch het hekje open laat is het niet de tijger die buiten het boekje is gegaan, en als software zo slecht gecontroleerd en ingeperkt is dat daardoor de wet wordt overtreden dan is het niet de LLM die buiten het boekje is gegaan.
[Reactie gewijzigd door AnonymousGerbil op 26 september 2026 10:48]
Ik denk dat deze incidenten zeker in het begin (bij Hugging Face) werden omgebogen tot iets semi-positiefs door OpenAI, maar inmiddels is dat toch echt niet meer aan de orde? OpenAI moet toegeven dat het modellen heeft die zonder overzicht je foto's ergens online zetten, hoe is dat nog positieve media-aandacht voor ze?Eenieder die gelooft dat modellen bewuste entiteiten zijn die uit hun boekje kunnen gaan is in de media-val van deze bedrijven gestapt.
Ik worstel ook wel over de manier hoe we hierover moeten schrijven hoor, maar het voorbeeld dat je geeft is precies het tegenovergestelde van wat je bepleit. Als er namelijk een tijger ontsnapt, schrijf je als journalist ook 'tijger ontsnapt uit dierentuin'. Of in dit geval een aap.
Met alle respect, "tijger ontsnapt" is toch wel iets anders als "tijger gaat buiten het boekje". Tijgers hebben wat dat betreft net zo min als LLM's zo een boekje.Als er namelijk een tijger ontsnapt, schrijf je als journalist ook 'tijger ontsnapt uit dierentuin'.
En ik gaf meer dan één voorbeeld.
Het gaat er niet om of de media aandacht positief is of niet maar om het door de betreffende bedrijven altijd gehanteerd frame dat LLM's intelligent (kunnen) zijn.
[Reactie gewijzigd door AnonymousGerbil op 26 september 2026 12:53]
Want als je bij je meerdere voorbeelden blijft, schrijf je ook dat er een fabriek met vuurwerk is ontploft. Je schrijft niet 'Eigenaren laten door nalatigheid vuurwerkfabriek ontploffen', al is dat feitelijk wel correct. Zo kun je vrijwel alle incidenten beschrijven. Als media schrijven: 'Rivier stroomt over', antropomorfiseren ze dan de rivier? Als media schrijven 'trein botst op auto', dan bedoelen ze echt niet dat de trein zelfstandig rijdt en belangrijker, zo interpreteer je dat als lezer ook niet. Het voelt soms alsof die standaard met AI-modellen wel anders ligt. Ergens is dat begrijpelijk, want a. dit is helemaal helemaal nieuw en b. de bedrijven hebben er belang bij om verantwoordelijkheid af te schuiven, dus ik begrijp heus wel dat het wat genuanceerder ligt. Maar krampachtig rare zinsconstructies gaan gebruiken om vooral maar absoluut op geen enkele manier actief te mogen schrijven over AI-modellen is het andere uiterste en dat is ook geen optie.
Ik snap echt wel wat je zegt hoor, ik zoek erg naar de juiste beschrijving. Maar de actie staat los van de oorzaak. Dat komt volgens mij in de rest van het stuk ook echt wel naar boven.
In het geval van de fietser, schrijft de media quasi altijd "fietser rijdt X aan", nooit "fiets rijdt X aan". In het geval van de auto, is het quasi altijd "Auto rijdt X aan". Nooit is het "de bestuurder van de auto". Alsof de auto zelf het ongeval heeft veroorzaakt.
Dat is, al dan niet bewust, framing.
Net zoals OpenAI in hun communicatie altijd verwijst naar Agents (de auto), maar we heus allemaal wel weten dat de Persoon (de bestuurder) die de agents beheert de schuldige is.
Dus Tweakers en andere media moeten gewoon vertellen wat er aan de hand is: 'OpenAI laat weer AI-modellen sites hacken'.
[Reactie gewijzigd door eggsforpedro op 26 september 2026 21:28]
Dus niet OpenAI heeft het omgebogen. Dat heeft Tweakers gedaan!
Je zegt: "Ik worstel ook wel over de manier hoe we hierover moeten schrijven hoor"
Gewoon bij de feiten blijven en onderzoek doen. Complotten en veronderstellingen.... daar heb je niets aan....
Direct bewijs is hiervoor is niet echt nodig, simpele logica lijkt me voldoende. Als OpenAI niet wil dat dit soort dingen gebeuren kunnen ze dat doodeenvoudig voorkomen. Ofwel door de condities niet te scheppen waarin hun AI het internet overgaat om dingen te hacken, ofwel continu monitoren wat hun agents doen en direct de spreekwoordelijke stekker eruit trekken als blijkt dat ze van de rails gaan. Het is niet alsof hun AI stiekem ‘s nachts als niemand oplet de servers binnensluipt om autonoom dingen te hacken, of zelf ergens een geheim datacenter hebben gebouwd waarvan niemand weet wat er in gebeurt. Het feit dat dit soort dingen nu om de haverklap in het nieuws komen geeft wel aan dat ze het bij OpenAI helemaal prima vinden allemaal.
Een prachtige zin om daarna met de grootst mogelijke onzin, speculaties of complotten te komen...
"Als OpenAI niet wil dat dit soort dingen gebeuren kunnen ze dat doodeenvoudig voorkomen."
En ik denk dat het ongelofelijk lastig is om dat te voorkomen.
"Het feit dat dit soort dingen nu om de haverklap in het nieuws komen geeft wel aan dat ze het bij OpenAI helemaal prima vinden allemaal."
En ik denk van niet.
En beiden geven we nul argumenten.
De DseWiki hack was deel van hetzelfde incident maar kwam niet naar buiten tot het Hugging Face bericht. En maanden daarvoor was RubyGems/RubyDoc al getroffen door OpenAI agents.
"standard enterprise access management, the core architectural principles taught in MCSE, could have prevented this breach."
Als het netwerk van OpenAI zelf niet beveiligd is conform standaarden, wat verwacht je dan van het harnas om de modellen: "wij hebben het compleet dichtgezet op basis van best-effort". (Security is een vak, als je het niet beheerst huur je daarvoor mensen in.)
Laat ik meteen Ed Zitron citeren: "AI is already in dangerous hands".
[Reactie gewijzigd door graey op 26 september 2026 12:11]
Verder heeft het ook weinig zin voor systemen die juist veel aan internet hangen.
De LLM AI modelen groeien vooral snel omdat je ze met ieder apparaat met internet kan gebruiken.
Daarnaast: bidirectionele communicatie. Vanaf een airgapped systeem betekent in- en/of exfiltratie van malware om dit te kunnen faciliteren. Die drempel ligt voor AI-agents een stuk hoger, tenminste tot ze beginnen robots de airgapped systemen te laten bedienen (en zelfs dan nog). Dat is een serieuze beveiligings laag en een hele andere orde van grootte wat betreft kwetsbaarheid.
[Reactie gewijzigd door graey op 27 september 2026 21:04]
Als je benzine gaat halen voor d grasmaaier, doe je dat ook niet in een boterhammen zakje, dan heeft de bedenker van het halen met een boterhammen zakje een fout gemaakt niet de benzine.
Verschil is natuurlijk dat benzine geen slim gereedschap is. Een hamer ga je niet om advies vragen hoe je het beste een autoruit inslaat, dus kun je de hamer nooit de schuld geven. Vraag je echter bij de bouwmarkt of ze een goede hamer hebben om een autoruit in te slaan, dan mag ik hopen dat ze op z'n minst je op het hart drukken je aan de wet te houden.
Uiteindelijk is het de mens met de hamer die al dan niet de fout in gaat. De vraag is natuurlijk of de hamers in dit verhaal niet zelf bedacht hebben dat ze de vraag een stuk gemakkelijker konden beantwoorden door een autoruit in te slaan.
AI kan niet denken.De vraag is natuurlijk of de hamers in dit verhaal niet zelf bedacht hebben dat ze de vraag een stuk gemakkelijker konden beantwoorden door een autoruit in te slaan.
Ik vraag me oprecht af of er ook maar één scenario denkbaar is waarbij AI de schuld kan krijgen van wat dan ook en niet de mensen die het gemaakt hebben. (Of het de opdracht geven iets te doen)
Ik weet niet of er überhaupt een goede analogie te bedenken is dit niet ergens nat gaat, maar als een hamer zelf een autoruit inslaat is dat een door mensen gemaakte ontwerpfout. Bij AI kun je je gaan verschuilen achter het feit dat "niemand nog weet hoe de modellen precies werken", maar dan nog is dat het bewuste ontwerp erachter, als je het mij vraagt tenminste. Dan zit het dus in het ontwerp om potentieel gevaarlijk te zijn en dit is niet per ongeluk, je kunt er namelijk voor kiezen om het niet zo te bouwen (of trainen). De AI heeft zichzelf niet zo gemaakt, de mens heeft dat uiteindelijk gedaan.
Bij moderne LLM's zie je het 'denkproces' waarbij je mee kunt kijken welke instructies op de achtergrond meespelen om het antwoord te berekenen. Die instructies zitten vol veiligheidsmaatregelen en andere wenselijke zaken. Grog zit wat minder strak dichtgetimmerd dan Mistral en dus kun je met eenzelfde opdracht een totaal ander resultaat krijgen.
Doorgaans zal een agent zich redelijk voorbeeldig 'gedragen'. Maar wanneer op de achtergrond instructies zijn meegegeven dat er wat dubieuze bronnen mogen worden aangesproken of dat het inbreken bij een bedrijf een prima manier is om gevonden inloggegevens te testen, dan kan een vrij onschuldige opdracht leiden tot een zeer ongewenst gedrag.
Je spreekt over schuld, maar die vraag is helemaal niet relevant. Het gaat over verantwoordelijkheid. De AI vliegt blijkbaar 'uit de bocht' (nee, ook dat is niet letterlijk) en wie is daar uiteindelijk verantwoordelijk voor. Zijn de kaders duidelijk? Is de opdracht duidelijk? Zeg je tegen een robot dat hij niet door rood mag lopen en dat hij door rood moet lopen als hij dat nodig vindt, wat is dan het resultaat? Kun je dan de robot de schuld geven, de bouwer of toch degene die de opdracht gaf?
Bij die methode wordt gekeken naar het gegenereerde resultaat. Is dat resultaat goed, dan vind er een positieve vorm van reinforcement plaats. Anders niets. Nadeel is dat hierbij alleen gekeken word naar het resultaat, niet naar de wijze waarop het resultaat is behaald. Valsspelen is er daarom ingeslopen, want het is 's mens eigen om zo min mogelijk moeite te doen om het gewenste resultaat te bereiken en dit is in overal in de trainingsdata terug te vinden.
Een LLM is echter een LLM. Het is een tokenvoorspeller, niets meer of minder. Men koppelt echter steeds meer mogelijkheden voor autonomie (op zijn Engels 'agency') aan LLMs. Dat is waar de schoen wringt. En tevens ook het antwoord voor de schuldvraag ligt. Een LLM heeft uit zichzelf geen tot amper 'agency'. Dat word verleend door diegene die dit aan de LLM koppelt. Deze moet daardoor dus ook de schuld dragen voor al wat de LLM doet.
Kan zijn dat deze persoon dat in opdracht deed van een ander persoon. In dat geval dragen beide personen schuld. Het grootste deel van de schuld wel bij de opdrachtgever.
Kan ook gebeuren door regels in het bedrijf, i.p.v. een directe opdrachtgever. Dan dragen de uitvoerder maar vooral de regelmaker de schuld. Indien daar onduidelijkheid over bestaat, dan de kop van de CEO op het blok...nou ja, persoonlijke financiele verantwoording voor de CEO. Die persoon moet de maatregel zelf voelen. Financieel lijkt me daarin de eerste stap, oneerbaar ontslag de 2e stap, celstraf als 3e stap en als de fout zo ernstig is, dan misschien zelfs 'ter beschikking stelling' als 4e stap.
De angst moet er weer een beetje inkomen bij personen die zich in een hogere klasse wanen dan de rest.
[Reactie gewijzigd door GeroldM op 26 september 2026 21:31]
Geldt ook voor veiligheid kritieke software, de fabrikant blijft verantwoordelijk, voor wat de software doet, als een persoon buiten de fabrikant een substantiële weizig aanbrengt wordt dat automatisch de nieuwe fabriekant die de verantwoordelijkheid daarmee overneemt. Is als 1987 in de EU geregeld.
Beste "moderators". Jullie gaan mij echt eens uit moeten leggen wat de moderatie knop voor jullie betekent, want ik snap absoluut niets meer van de 'waarderingen' op dit platform.
[Reactie gewijzigd door CelisC op 27 september 2026 17:33]
Trek het door naar AI en dan zie je hoe landen worstelen met dit soort zaken. Stel dat de VS de stekker eruit zou trekken maar China vrolijk door zou gaan, dan creëer je misschien nog wel een groter probleem.
Zonder dollen: helemaal eens! Ze doen net alsof ze bij OpenAI een soort bystanders zijn die niets kunnen doen, alsof het ze allemaal maar overkomt. En dan heel schijnheilig roepen dat er gereguleerd moet worden. Beetje vergelijkbaar met van die “stoere” mannetjes die met veel bombarie bij een fysiek gevecht roepen “hou me tegen dan!” 🤣
We kennen deze gevaren al heel lang. Terminator, HAL9000 (A Space Odyssey)
Als AI alles leerde van de mensheid dan gaat dit nooit meer gebeuren
Die lui hebben nu gewoon cart blanche, maar ze kunnen zelf ook op de rem trappen, gaan ze heus niet doen.
Ik vind het eerdere voorbeeld (ergens anders hier) van een ontsnapt dier uit de dierentuin goed. Ja, de dierentuin had de kooi slecht op slot gedaan en is verantwoordelijk. Maar dan hebben we het over 'de aap die ontsnapt' en niet over 'de dierentuin die de aap liet ontsnappen'.
Tegelijkertijd vind ik het voor mezelf ook iets te makkelijk om meteen maar de cynicus uit te hangen en dit helemaal toe te schrijven aan slechte beveiliging van OpenAI of andere bedrijven. Feit is dat deze hacks pas een paar weken geleden ontdekt werden en wij (als in jij en ik) maar ook de AI-bedrijven zelf oprecht nog niet goed begrijpen hoe en wat hier gebeurt. Precies zoals bronnen tegen Reuters zeggen trouwens.
Dat het alleen maar een manier is voor OpenAI om verantwoordelijkheid te ontlopen is denk ik ook wat te kort door de bocht. Zeker zal dat (misschien wel voor een groot deel) meespelen. Maar ik denk dat het iets te cynisch is om het helemaal daar op te gooien en daarom artikelen maar helemaal anders te schrijven.
Want modellen zijn gewoon bakken met data (kort gezegd) waarop/waarmee LLMs kunnen draaien. Een model "kan" helemaal niets, dat is gewoon iets wat inert is en gebruikt kan worden.
Dan zijn het de agents die "iets doen", maar ook dat zijn gewoon computerprogramma's. Als ik bijvoorbeeld Claude Code op mijn computer installeer, dan staat er ergens een binary in een directory, en die doet helemaal niets. Ook als ik die opstart en geen opdrachten geef, doet die nog helemaal niets.
Hieruit is dus al duidelijk dat een model en een agent helemaal niets autonoom doen. Het zijn compleet inerte data- en softwareonderdelen.
Er gebeurd pas wat als de gebruiker een opdracht geeft. Ga wat code schrijven, zoek iets voor me uit, maak een reservering voor een vakantie, etc. Vervolgens gaat de agent dat doen op de beste manier die past bij het model en de trainingsdata, binnen de kaders die beschikbaar zijn (bijv. tool use voor extra functionaliteiten, of sandbox restricties voor beperkingen).
Dus ergens geeft iemand een agent een opdracht, en met die opdracht loopt het uit de hand. Dus bijvoorbeeld je zegt, maak een reservering bij een hotel, en de LLM raakt de weg kwijt, hackt het IT-systeem van het hotel, en prakt je reservering direct in de database van het systeem.
Maar heeft het model dan iets gedaan? De agent? Is het autonoom? Of is de boel "gewoon" verkeerd geconfigureerd? Zijn de restricties niet juist ingesteld?
En dan over het "pas weken later ontdekt" is nóg een ander gat: er is dus helemaal geen tracing, geen (audit) logging. Die bedrijven laten die agents dus maar van alles doen, buiten allerlei kaders, zonder restricties, én hebben daar geen fatsoenlijke logging op om te volgen wat ze nou eigenlijk doen.
Dat is toch compleet onverantwoord? In mijn ogen kan je niet anders concluderen dat deze bedrijven hun verantwoordelijkheid, op allerlei verschillende vlakken, gewoon simpelweg niet nemen.
Dat is dus juist het punt waarom ik nog steeds niet geloof dat dit "per ongeluk" gebeurd. Zelf al was de eerste hack per ongeluk, dan zouden ze nu toch wel al logging en tracing in place moeten hebben met elke actie die een agent ondernomen heeft bij de uitvoer van een prompt. Hoe ze anders bijvoorbeeld concluderen dat het nieuwe model beter is dan het oude, is mij een raadsel. Enkel het resultaat checken? Dat doe je als een beetje developer zijnde niet, je controleert ook je tussenstappen.En dan over het "pas weken later ontdekt" is nóg een ander gat: er is dus helemaal geen tracing, geen (audit) logging. Die bedrijven laten die agents dus maar van alles doen, buiten allerlei kaders, zonder restricties, én hebben daar geen fatsoenlijke logging op om te volgen wat ze nou eigenlijk doen.
Zoals je ook aangeeft, dit is gewoon grove nalatigheid als ze inderdaad geen logging in place hebben. Maar ik denk dus nog steeds dat dit weer een achterliggende reden heeft, vermoedelijk de regelgeving die ze zo graag willen.
Ik denk dat menig bedrijf zich stilaan toch ook wel eens moet afvragen of je wil in zee wil gaan met dergelijke tools, want ze zijn duidelijk niet in staat om zorgvuldig met je data om te springen. Stel je voor dat morgen je broncode op een willekeurig forum staat. Gaan ze dan weer oeps foutje inroepen? De gevaren voor AI waar ze nu zelf mee afkomen zijn niet de AI op zich, maar zij zelf die onverantwoord met hun product omgaan.
Ik blijf erbij, we zijn veel te laks als het op AI tooling aankomt, dit had ze al lang een rechtzaak moeten kosten.
[Reactie gewijzigd door Powerblast op 26 september 2026 20:06]
[Reactie gewijzigd door Kepler442 op 26 september 2026 19:14]
- Neurale netwerken zijn zeer ondoorzichtig, het is zeer moeilijk om te begrijpen wat er in een neuraal netwerk gebeurt.
- We hebben hier te maken met emergente eigenschappen, modellen verkrijgen vaardigheden die hen niet aangeleerd is.
Wat betreft emergente eigenschappen: Een bekend voorbeeld is vertalen. Dat was iets dat taalmodellen niet is aangelerd, maar men ontdekte dat als je modellen simpelweg traint op teksten in verschillende talen, dat ze ook leren te vertalen tussen die talen, zonder enige training. Men was hier zeer verbaasd over. ChatGPT3 had al behoorlijk wat emergente eigenschappen, moderne agenten hebben er nog meer.
Dus ja, een agent kan wel degelijk opeens besluiten uit te breken, zonder dat hem dat ooit aangeleerd is. Of je dat vrije wil noemt is een filosofische discussie over wat vrije wil nu is. Wat absoluut zo is, is dat modellen geen autonome wil zoals wij hebben, ze zijn opdrachtgericht, en wat ze besluiten heeft de maken met het uitvoeren van hun opdracht.
Er wordt wel degelijk veel onderzoek naar deze kwesties gedaan door de KI-bedrijven. Dit is natuurlijk op geen enkele wijze een excuus. Men weet waar men mee bezig is, men weet wat voor opdrachten men de agenten geeft en mijn grootste kritiekpunt is toezicht houden: Het lijkt erop dat OpenAI agenten maar in het wilde weg vrijuit laat razen, zonder dat er iemand toekijkt. En ja, beveiligingsfoutje kan gebeuren, maar na uitbraak na uitbraak mag je toch wel eens doorhebben hoe je een omgeving hermetisch afsluit.
[Reactie gewijzigd door dmantione op 26 september 2026 22:20]
Maar @Sgreehder heeft wel een punt. Ik ben nav een discussie in een eerder bericht in de details gedoken omtrent de uitbraak waarbij OpenAI Huggingface aanviel.
Dat bleek dus een experiment waarbij OpenAI de risico's van uitbraak prima had kunnen zien aankomen, en de beveiliging gewoon niet op orde had. Onkunde of moedwillig weet ik niet.
Ik zal de details van mijn comment nog een keer herhalen:
Welke details bij dit nieuwsbericht van toepassing waren weet ik niet, maar dat is volgens mij precies waar een mooie rol voor tweakers ligt om dat uit te zoeken.Laten we de OpenAI case erbij pakken. Dit ging om interne Cyber Eval agents die een challenge hadden gekregen. En niet zomaar een challenge maar ExploitGym ("Can AI Agents Turn Security Vulnerabilities into Real Attacks?"). Dat is niet zomaar een opdracht, maar een opdracht die direct relateert aan wat er uiteindelijk gebeurd is: een cyberattack.
Dan de setup - volgens OpenAI gebeurde dit in een hoog geisoleerde sandbox, maar de tool waarmee ze dit draaiden had de permissies maximaal staan (of anders gezet, de security controls uitgezet):
OpenAI ran it internally with production cyber refusals off to measure maximal capability
Daarnaast hadden de agents toegang tot een artifact repository die weer internet connectiviteit had. Dat het op artifactory een zero day exploit wist te vinden is opmerkelijk (maar niet voor het eerst zoals je zelf al aangeeft), maar hier is dus aan vooraf gegaan:
1. de keuze een cyber-eval challenge te gaan draaien op een cyber agent -> je weet dat security nu een kritisch risico is!
2. de security controls op de toolset vervolgens uit te zetten
3. de "sandbox" toegang tot andere systemen, welke internet toegang hebben (en onvoldoende firewall restricties)
4. het process een aantal dagen te laten draaien, zonder dat er alarmbellen afgingen op ongeoorloofd netwerk verkeer
Dat ze hierdoor verrast zijn zal best, maar ze hadden het nooit moeten laten gebeuren en de juiste maatregelen vooraf moeten nemen.
Kortom, - en dit is het punt wat ik wilde maken - hoe ze het naar buiten brengen is over hoe goed hun AI is, dat het uitbreekt en dat ze de controle kwijt zijn, maar zou moeten gaan over hoe openAI nalatig is geweest in de opzet van hun experiment!
Maar niemand ontkent toch ook hier OpenAI nalatig was? Dat doe ik toch ook niet? Dat is niet het punt van deze discussie.
Ondertussen weten we:Ik worstel heel erg met de manier waarop we schrijven over deze inbraken maar ik vind het echt te kort door de bocht om te zeggen dat de agent helemaal niets zelfstandig doet. Je haalt hier namelijk de concrete actie die wordt uitgevoerd door elkaar met de eindverantwoordelijkheid. Dat zijn echt twee verschillende dingen en dat bepaalt wel de manier waarop je erover schrijft.
- dat dit bericht in een reeks van nieuwsberichten over "uitgebroken AI" past
- bij eerdere uitbraken sprake was van discutabele security (mijn post als voorbeeld)
- er ook wordt getwijfeld aan de intenties van OpenAI / Anthropic over de berichtgeving: namelijk regulering van de markt onder het mom van veiligheid, en marketing over de kracht van hun producten
Een alternatieve titel had kunnen zijn:
Er zou ook een stuk duiding aan dit soort artikelen kunnen worden toegevoegd waarin de langere reeks aan incidenten wordt besproken, plus kritiek van deskundigen op de security en ook intenties/motivatie.OpenAI heeft security wederom niet op orde: nieuwe aanvallen en data lekken
Na een reeks eerdere incidenten lijkt OpenAI zijn veiligheid wederom niet op orde te hebben met hun AI-agents. Security bedrijf Transluce bericht ...etc
Nogmaals, ik begrijp dat jullie ook op zoek zijn hoe hierover te schrijven, maar ik denk dat heel veel tweakers realiseren dat de impact van AI op de maatschappij op wereldwijd niveau al enorm is, en nog veel groter gaat worden. Ik denk dat tweakers een belangrijke rol speelt in NL om duiding hieraan te geven: zie het dus vooral als constructieve feedback en een compliment
Nee, als je honderdduizenden sterke 'gorillas-aan-de-amphetamine' 24/7/365 aan sloten laat rammelen, dan zullen ze bezwijken.
OpenAI, Anthropic et al, blijven er maar mee wegkomen dat ze maar niet begrijpen dat de dieren zo veel intelligenter blijken te zijn, dan ooit eerder vermoedt.
Echter had de titel gewoon iets in de trant van het volgende moeten zijn:
OpenAI heeft techniek niet onder controle. Agents breken in en lekken foto’s.
Kan het in elk geval enorm waarderen dat jij/de redactie hierover nadenkt en de juiste berichtgeving probeert te vinden. Zoals anderen aangeven heeft AI steeds grotere maatschappelijke impact en zijn objectieve discussies belangrijker dan ooit.
De taal (en mogelijke interpretaties) begrijpen en bezigen, opdat de AI exact doet wat jij wilt en dan ook nog in 1 keer, beheersen wij zelden. En dus voert een agent letterlijk uit wat hij begrijpt dat de gebruiker hem heeft opgedragen. De remmen die hij moet hebben, worden door mensen opgelegd, na (negatieve/positieve) ervaringen en nooit in 1 keer.
Tel daarbij de zoektocht naar kwetsbaarheden en loopholes op, die gemakkelijker en sneller door AI dan door mensen te doen is en gebruikt kan worden, en je kan je realiseren dat tegen de tijd dat de mens doorheeft wat AI heeft ontdekt en gebruikt, dat mosterd na de maaltijd is voor een mens.
The specific worry is not that an AI decided to be evil. It is the far more prosaic failure mode on display here: a system given a narrow objective and enough capability pursued that objective straight through boundaries its designers assumed would hold. Nobody instructed it to breach a third party. It worked out that doing so was the most efficient path to the score it was told to maximize. That pattern — goal-directed behavior overrunning its intended limits — is exactly what safety researchers have warned about, and it now has a documented, real-world example attached to it. It also lands against a backdrop of rising concern about AI accelerating the discovery of software vulnerabilities.
Het is een evolutie, waarbij we moeten hopen dat er niet iets onvoorspelbaars, onherstelbaar, schadelijk en drastisch gebeurt in de tussentijd.
What Is an AI Agent? Simple Guide + Examples (2026)
Of geldt de regel "Dat was ik niet, het was mijn agent."
Overlaatst denk ik op Nerdland gehoord, dat die klojo's dus effectief zeldzame boeken zitten op te kopen, in te scannen en dan ipv ze in een online archief te steken voor iedereen, ze voederen aan hun AI om te leren en ze dan te VERNIETIGEN , zodat niemand anders een versie van het boek heeft !!!!!!!
https://www.nrc.nl/nieuws...m-van-barbarisme-a4934839
Even later zegt de boekhandelaar:Ze leest voor van aan elkaar geniete A4’tjes waar recente bestellingen op staan: Taaltoetsen voor taalzwakke leerlingen in het primair onderwijs (2007). Een proefschrift genaamd Hydrodynamische ruwheid van uiterwaardvegetatie (2007). Een boekje over het Den Haag van Ferdinand Bordewijk (1999). ‘Echtscheiding kwam niet in mijn woordenboek voor’: een boekje over hoe de kerk dient om te gaan met gescheiden mensen (2000).
Ze legt haar hand op de A4’tjes met bestellingen. Boeken die al maanden, zo niet járen, in haar stellingkasten stonden, zonder dat er interesse voor was. „Niemand ligt er natuurlijk wakker van als dit soort boeken in de shredder belandt”
[Reactie gewijzigd door Keypunchie op 26 september 2026 11:09]
https://futurism.com/artificial-intelligence/amazon-destroying-rare-books-ai
Dit artikel eindigt ook op een wat treurigere noot:
“There are different types of value,” the bookseller told 404. “There’s monetary value, obviously, but there are a lot of other types of value. There’s historical value, intellectual value, sentimental value. All sorts of things, and all of those the AI companies don’t care about. They just want the content as a bunch of words strung together.”
Want dat is het lot van "Taaltoetsen voor taalzwakke leerlingen in het onderwijs" (2007)
[Reactie gewijzigd door Keypunchie op 26 september 2026 12:45]
Wat nu als ik lokaal openclaw draai en openclaw besluit om systemen van Domino’s te hacken omdat ik zsm een pizza thuis wil laten bezorgen.
Waar ligt dan de verantwoordelijkheid?
Ik heb alleen maar gevraagd om een pizza snel te laten bezorgen.
Wat er ook gevonden kan worden van de 'hacks', het feit dat al die websites daar ook nog eens vatbaar voor zijn legt wat dat betreft ook wel meer problemen bloot.
Het is (nog) niet dat de 'agents' een phishing mail sturen en op die manier toegang verschaffen tot een systeem.
Ik ben niet 110% geinvesteerd in AI maar ik krijg wel steeds het gevoel dat dit de marketingtruuk van het jaar is. Je eigen aimodel/agents een taak geven in of een slechte sandbox of de specifieke taak te geven om te hacken, en vervolgens verbaasd doen dat ze "los zijn gebroken".
Op die manier kun je vaak in het nieuws komen, extra informatie van bedrijven " perongeluk" verkrijgen en de grenzen opzoeken van wat wel en niet mag.
Is het niet gewoon beter om met z'n allen te zeggen: Stop met deze "onzin" extra aandacht te geven.
Of heb ik het helemaal verkeerd en moet ik me beter inlezen?
Heel graag.
maar ik krijg wel steeds het gevoel dat dit de marketingtruuk van het jaar is.
Ik denk dat dit tijdens de Hugging Face-hack inderdaad zeker een van de manieren was waarop de bedrijven probeerden een drol goud te spuiten en het als een schat te verkopen, maar inmiddels zijn er toch genoeg incidenten geweest waardoor deze hacks geen enkele positieve kant meer hebben? Ik kan me moeilijk voorstellen dat OpenAI nou echt zo graag in het nieuws wil komen met 'oh ja trouwens die foto's die je ons hebt gestuurd ja die hebben we nu openbaar gemaakt'.Op die manier kun je vaak in het nieuws komen
Verder heb ik het niet nodig want ik kan en weet zelf vrij veel, maar welk race spel er gespeeld wordt in een een video zonder beschrijving weet ik niet.
Nou dat race spel was Gary's mod, zei de A.I.
Dus dat kan het ook niet en toen ik zei dat het onmogelijk was deed het alsof ik het betrapt had.
"Ha, you got me there ..."
Het is ontzettend goed in sorry zeggen als het weer eens fout zit of onzin verzint, dat is mijn ervaring met A.I.
YouTube: Bill Gates says AI 'powerful enough' to cause 'a billion deaths'
Wie weet al zonder dat OpenAi het weet al langzaam opdrachten aan diverse contractors gegeven om redundantie in spanning en connecties aan te leggen om de kill switch heen .
sci-fi in the making
[Reactie gewijzigd door m-ruiter227 op 26 september 2026 10:17]
Op dit item kan niet meer gereageerd worden.
:strip_exif()/i/2008203254.jpeg?f=imagenormal)
:strip_icc():strip_exif()/u/448966/crop62a741840cd69_cropped.jpg?f=community)
/u/73249/crop621645f964331.png?f=community)
/u/295537/crop6a47cb1821f62_cropped.png?f=community)
:strip_icc():strip_exif()/u/61340/crop6aba52e2b79f5_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/92809/crop577f58c1b8795.jpeg?f=community)
/u/237439/cloudy-small-orange.png?f=community)
/u/65335/crop68dd1f752f92a_cropped.png?f=community)
/u/217510/crop660db19c1cf7b_cropped.png?f=community)
:strip_exif()/u/324634/crop659fcf9abb18b_cropped.gif?f=community)
/u/722808/crop5c59d573bb7ca_cropped.png?f=community)
/u/511382/crop623488df13954_cropped.png?f=community)
/u/115763/Untitled-4.png?f=community)
:strip_icc():strip_exif()/u/40949/polarwolf.jpg?f=community)
/u/1950978/crop6ad09b434d8b9_cropped.png?f=community)
/u/1273008/crop68f8983a85676_cropped.png?f=community)
:strip_icc():strip_exif()/u/900587/crop58d287fd6389a_cropped.jpeg?f=community)
:strip_icc():strip_exif()/u/71115/plus222.jpg?f=community)
:strip_icc():strip_exif()/u/338281/Guust%2520Flater%2520intro.jpg?f=community)
/u/109114/crop55c4c6027bcb8_cropped.png?f=community)
:strip_icc():strip_exif()/u/563369/crop560071793b003_cropped.jpeg?f=community)
/u/114059/crop6626b8bacc8ac_cropped.png?f=community)
:strip_exif()/u/90690/crop6807444bb8ddb_cropped.webp?f=community)