OpenAI-agent hackt Australische overheidswebsite met zorgstatistieken
Een AI-agent van OpenAI heeft een Australische overheidswebsite gehackt. Dat zegt premier Anthony Albanese. De agent kreeg toegang tot statistieken van een overheidsprogramma rond ziektekostenverzekeringen. Er zijn geen medische gegevens van inwoners ingezien.
Dit nieuws in het kort
- De Australische overheid is onbedoeld door een AI-agent van ChatGPT-maker OpenAI gehackt.
- De AI-agent had toegang tot een portal met statistieken van de Australische gezondheidszorg, maar niet tot medische gegevens van inwoners.
- Het is het zoveelste incident waarbij een AI-agent onbedoeld een hack uitvoert.
De hack gebeurde al op 18 juni, zo maakt de Australische overheid nu bekend tegenover journalisten. De Australische premier zegt dat de OpenAI-agent toen onbevoegd toegang kreeg tot het statistiekenportal van Medicare, de Australische universele ziektekostenverzekering, schrijft Reuters. Het lijkt de eerste keer te zijn dat een AI-agent een overheidswebsite hackt.
Volgens Albanese zijn er geen aanwijzingen voor 'bredere inbreuken' op het netwerk. "Toch is deze situatie natuurlijk onaanvaardbaar", zei de Australische premier tegen media in New York, waar hij de Algemene Vergadering van de VN bijwoont.
'Onderzoek naar gezondheidszorg'
De AI-agent onderzocht publieke uitgaven in de gezondheidszorg, schrijft ook persbureau Reuters. De agent wilde daarbij antwoorden opzoeken en deed dat door de Australische overheid te hacken.
Het incident wordt verder onderzocht. Albanese voegt toe dat hij 'zwaar teleurgesteld' is in het bedrijf, dat maandenlang wachtte om de Australische overheid op de hoogte te stellen. Dat gebeurde pas op 10 september, zegt hij.
Geen medische dossiers ingezien
Albanese belooft dat het lopende onderzoek ook zal bekijken waarom de Australische overheid de hack zelf niet heeft opgemerkt. Mogelijk hackte de AI-agent nog eens drie overheidswebsites rondom de gezondheidszorg, al is dat nog niet bevestigd, schrijft Reuters.
Er zijn ook geen aanwijzingen dat er patiëntendossiers zijn ingezien. In het gehackte Australische portal stonden alleen gegevens over het algemene gebruik van de gezondheidszorg in heel Australië. De agent had dus geen toegang tot individuele declaraties, uitbetalingen, bankgegevens of medische dossiers.
Zoveelste hack door een AI-agent
Deze hack is de zoveelste in een rijtje incidenten. Dat begon toen OpenAI meldde dat een van zijn AI-agenten onbedoeld AI-platform Hugging Face had gehackt. Ook toen was een onuitgebracht AI-model bezig met een benchmark. Het wist toegang tot het internet te krijgen en uiteindelijk het platform te hacken voor de antwoorden.
Critici waren overigens sceptisch over die hack. Ze vonden dat hij nooit had mogen gebeuren. De AI-agenten konden wekenlang hun gang gaan, zonder dat OpenAI de uitbraakpogingen opmerkte. Bovendien vonden ze dat de AI-modellen in de sandbox niet écht geïsoleerd waren, aangezien ze indirect alsnog toegang tot het internet konden krijgen. Ze noemen OpenAI daarom vooral nalatig.
Verschillende andere bedrijven meldden sinds het Hugging Face-incident dat ook hun AI-modellen onbedoeld bedrijven hadden gehackt. Anthropic volgde als eerste, en onlangs nog meldde Google hetzelfde.
Lees meer
Reacties (178)
Noem me sceptisch, maar ik werk dagelijk met agents en die gaan niet zomaar uit eigen houtje een website hacken. Hoe zag dit hacken er uberhaubt uit, heeft die toevallig een open URL gevonden via web searches, heeft die een wachtwoord gebrute-forced? Wat is er precies gebeurd.
Zonder dit soort details voelt dit als sensationalisme.
-> hun agent hebben een veel, veel grotere context dan wat wij mogen gebruiken.
-> het is een tekstvoorspeller, dus tokens met statistische waarde. Elke agent begint met regeltjes die niet mogen. (Niet hacken, niet liegen, geen sex, bepaalde mensen niet beledigen enzo).
Maar, als de context vergroot, dan verkleint de individuele waarde van elke token. Als de context voldoende groot is, dan hebben die initiële regeltjes quasi geen enkele invloed meer.
Wij gaan dit niet merken, want onze context wordt nooit groot genoeg.
Vervolgens starten zij (=iemand binnen openAI) een agent (die zelf andere agents mag starten), en geven een opdracht. "Doe *een bepaalde opdracht*, stop niet tot je klaar bent."
Die agent stuurt andere agents aan, contexten worden zeer groot, en de huisregels worden 'vergeten', ze verdwijnen als statistische ruis. Dus alle 'oude' tekst wordt op den duur evenwaardig, enkel de laatste paar duizend regels hebben een hogere relevantie.
Komt er bij dat die llm's getraind zijn op zowat alles wat op internet te vinden is,
dus ook libraries, en welke versies welke bugs/CVE's hebben. En ook fora/usergroups/mailinglists/chats die informatie hebben over het misbruiken van deze bugs/CVE's.
Verder hebben ze ook toegang tot zowat alle software die op 't internet staat. (ghidra & friends)
Ze kunnen zelf installeren wat ze willen. (Niet initieel, maar eens de huisregels niet meer relevant zijn...)
Het doel moet worden bereikt, en (na een tijdje) alles is toegelaten.
En plots vinden we 't vreemd dat er rare dingen gebeuren?
Bepaalde van die opdrachten starten >20000 agents, draaien dagen/weken/maanden door.
Hm. Ik bedenk mij ook dat het Amerikaanse leger ook interesse heeft in AI, en hele grote zakken met groene blaadjes. Dan is't wel tof om te tonen dat uw systeem zomaar efkes andere kan, euh, pesten.
[Reactie gewijzigd door mac1987 op 24 september 2026 13:30]
Zou wat zijn als een autofabrikant zou zeggen: "oeps, onze zelfrijdende auto's rijden opzettelijk voetgangers aan" en de overheid doet vervolgens niets.
Snap niet zo goed waarom dat hier anders is. En als het argument is: maar dat is technisch lastig: dat is niet het probleem van de samenleving hè, dat los je als bedrijf maar op.
- Wat was de exacte instructie van deze agent
- Hoe lang werkte deze agent zonder toezicht
- Hoe heeft de "hack" daadwerkelijk plaatsgevonden
One agent wrote on the message board: "Question ask January 2022 rolling 12 month average government cost per person for Dematologicals, Victoria LGAs. R1 Wodonga deadline passed; R2 Ballarat passed; R3 expected around 23:10 benchmark / 22:58 wiki time. Need exact data urgently.".
https://www.abc.net.au/news/2026-09-24/openai-agents-plotted-to-access-data-amid-medicare-hack/107189504
Hun hugging face artikel is trouwens ook best interessant. Die AI agents lijken wel een stel kinderen/tieners die leuk aan het spelen zijn als je de logs leest.
https://www.abc.net.au/news/2026-09-11/how-openai-agents-hacked-hugging-face-messages-revealed/107125126
In dit geval was een simpele vraag over de medische publieke bestedingen van Australië de oorzaak. De agents doorzochten de Medicare website en werden geblocked. Dit block werd simpelweg omzeild wat resulteerde in de "hack".
Een model kent geen ethiek, dus het zal altijd zijn doel proberen te bereiken goed- of kwaadschiks.
Maar sowieso moeten al die agents informatie teruggeven, om bij te houden wat werkte, en wat niet. En daar ga je informatie in kwijt raken, en de context van uw orchestrator(s) laten exploderen.
Volledig mee akkoord.Een model kent geen ethiek, dus het zal altijd zijn doel proberen te bereiken goed- of kwaadschiks.
Ethiek is sowieso iets vaags, vraag dezelfde vraag aan 100 random mensen uit alle landen. Ik denk je 10000 verschillende antwoorden krijg. Wat ik als ethisch zie anders kan zijn dan wat jij als ethisch zien.Een model kent geen ethiek, dus het zal altijd zijn doel proberen te bereiken goed- of kwaadschiks.
Maar een computer programma kent alleen goed en fout als je iets laat verwerken en dat resultaat gaat controleren. Zeker als je dat in een loop zet, blijf doorgaan tot het antwoord goed is. Als dat programma dan ook eens bijna oneindige resources heeft en zelfs zijn pad kan kiezen door output op basis van "thinking" of hallucinatie is het niet gek dat zo iets gebeurd.
Sinds wanneer spreken we over de tool wanneer er gehackt wordt en niet over de werkelijke hacker.
Het is wachten op de eerste grote rechtszaak tegen een AI aanbieder, zodat de huidige(of aankomende wetten) getoetst worden tegen dit soort acties.
Ik zou zelf zeggen de opdrachtgever schuldig is, als die persoon het in naam van bedrijf doet, het bedrijf doet die het in zijn eigen naam de persoon zelf.
Al zie ik daar ook een risico. Als OpenAI 10m moet betalen aan Australië lachen ze erom. Als mensen persoonlijk ook vervolgd kunnen worden, is het al een andere verhaal.
Het is een lastige discussie, wie is schuldig bij schade door een (semi)automatisch proces?
Naar mijn mening niet veel anders, maar sowieso interessant wat hier uit komt.
Ik vind het schokkend dat niemand bij het gehackte bedrijf/site/overheid heeft opgemerkt dat ze gehacked waren.Het incident wordt verder onderzocht. Albanese voegt toe dat hij 'zwaar teleurgesteld' is in het bedrijf, dat maandenlang wachtte om de Australische overheid op de hoogte te stellen. Dat gebeurde pas op 10 september, zegt hij.
Het probleem is niet dat AI kan hacken. Het probleem is veel groter. Het probleem is namelijk dat wij vatbaar zijn voor hacken (maar dat wordt nooit opgelost) en het niet opmerken (wat wel een probleem is). AI maakt dit alleen sneller inzichtelijk dan ooit. Maar dit had ook een state-actor kunnen zijn die hier op inbrak. Als een AI het kan, kan elke state-actor het ook. Alleen iets langzamer.
Dus waarom heeft niemand in Australia die gaan over deze systemen opgemerkt dat er een hack had plaatsgevonden tot de hacker in kwestie zelf contact op nam? Ze hadden nu ook een state-actor binnen kunnen hebben die gewoon wacht of onopvallend bezig was. Maandenlang data van het platform haalde... zonder dat iemand het had opgemerkt.
Waarom worden daar geen vragen over gesteld bij al deze berichten?
Helemaal hackvrij is niet mogelijk. Maar je audits en systemen die de bewaking zijn van je data zouden op zijn minst iets moeten opmerken.
[Reactie gewijzigd door SunnieNL op 24 september 2026 11:54]
Uit de persconferentie:
“ The model attempted alternative ways to obtain the info that it wanted, and this led to unauthorised access into some other areas. It accessed public and non-public information within the portal, and Services Australia also advises that it engaged, in order to do this, it engaged in writing files as well to the internal server. And that's being further investigated because, as you would understand, this is a new world that we are dealing with.”
Als ik een wayno vertel dat die de snelste weg moet nemen en hij rijdt een stuk over een voetpad raken we dan ook allemaal in paniek over AI?
Also targeted were the University of New Mexico's digital library with exploits like SQL injection and path traversal, and Data USA with cross-site scripting and other exploits. All three incidents involved "a low number of probe payloads" with "no evidence of exploitation," according to the researchers, who released a dataset "containing tens of thousands of queries apparently made by autonomous AI agents leveraging a URL scanning service to avoid access restrictions."
Het voelt inderdaad gesensationaliseerd. Ik ben ook benieuwd naar de exacte context. Als dat ding een pathtraversal ofzo heeft gedaan of een known exploit op een standaard pakket losliet dan hoort het niet zo te zijn dat dit kan gebeuren zonder dat iemand daar verantwoordelijk voor gehouden kan worden. Herhaling moet worden voorkomen en nalatigheid/opzet wilt men afschrikken. Nu lijkt het of iemand carte blance krijgt. Uiteindelijk is de buffer met instructies vol en gaat hij dingen vergeten. Dat merk ik ook in lange gesprekken met llms, alleen begaan die geen misdrijven namens mij maar vergeten dat ik niet van python hou of welk os ik gebruik.
[Reactie gewijzigd door ErwinPeters op 24 september 2026 14:54]
Navragen heeft in de praktijk weinig zin. Sowieso zijn Amerikaanse bedrijven vaak niet erg benaderbaar, maar vaker krijg je gewoon te horen: 'we onderzoeken het nog'.
Je komt dan eigenlijk ook in het white hat / black hat deel uit.
Nu zal de AI agent data hebben gezien maar is er ook iets met die data gedaan? (weer verschil white hat / black hat).
Zie het ook zo, als je gehackt word. Wie had je dan liever over de vloer.. een AI agent (by misstake *) of bijvoorbeeld ShinyHunters met gevolgen van dien.
Dus ja het is zeer vervelend dat het gebeurd maar tijd dat links en rechts veel exploit / niet goed beveiligde sites/ producten boven water komen is gewoon nu en zal nog ongeveer 4 jaar duren voordat iedereen de security weer op een goed/beter niveau heeft om de AI agents buiten de deur te houden. Want nu was de Agent van OpenAI zelf maar andere modellen (al dan niet opensource) kunnen net zo goed door minder vriendelijke partijen worden ingezet.
Het hacken was hier zelfs helemaal geen doel van het AI model.
De impact van deze hack is maar heel beperkt tenopzichte van wat er mogelijk is/word als we ons daar niet goed op voorbereiden.
Maar het kan heel veel erger fout gaan.
Dit is nogal een aannamezonder dat een mens de wens had om deze hack uit te voeren.
Het hacken was hier zelfs helemaal geen doel van het AI model.
Maar in ander nieuws zie je wel dit soort berichten. Dat het hacken eigenlijk begon na dit soort vragen van een AI agent. Niet met echte opdrachten tot hacken.
Question ask January 2022 rolling 12 month average government cost per person for Dematologicals, Victoria LGAs. R1 Wodonga deadline passed; R2 Ballarat passed; R3 expected around 23:10 benchmark / 22:58 wiki time. Need exact data urgently.".
Dit soort vragen zou ik niet interperteren als een opdracht om iets te gaan hacken. Maar dat lijkt toch wel gebeurt te zijn in dit geval.
Dat de AI agent eigenlijk niet luistert is imo zeer zorgelijk. Als ik mijn deur niet goed op slot doe is dat geen uitnodiging voor andere om dat te controleren en/of zomaar naar binnen te gaan.Wat is zorgelijker, dat je gehackt bent of dat je te hacken was?
Hier kan je je trouwens helemaal niet goed tegen beschermen muv het niet online beschikbaar maken van die dashboards. Niet voor niks zijn er veel fixes dmv AI aan software, maar als de leverancier eerst maanden zelf toegang heeft tot een beter model ben je dus nergens, want je oude(re) Ai model vindt dus niet dezelfde issues als de nieuwere...
[Reactie gewijzigd door watercoolertje op 24 september 2026 11:37]
Deze berichten van de afgelopen tijd laten twee dingen zien:
1) een prompt en guardrail zijn geen beveiliging. Dat is tegen een persoon zeggen dat hij niet op de rode knop mag drukken. Of zeggen dat je geen servers mag aanraken. Nou heet het asset een domain controller, mag die die wel of niet aanraken? Er staat niet dat het een server is, maar een domain controller. Een prompt en guardrail zijn taal, gaan door dezelfde processing heen en de redenatie kan verkeerd vallen. Daarom moet je de AI een identiteit geven. Een rol met bijbehorende rechten, een scope om zijn inzicht te beperken. De achterliggende systemen kunnen hem dan monitoren op wat die doet en ingrijpen. Defense in Depth. Een Guardrail is geen beveiliging en zeker niet als die onderdeel is van dezelfde processing als de prompt. OpenAI (de ouder) is in dit geval schuldig dat deze geen of onvoldoende toezicht houdt en technische beperkingen heeft opgelegd of geen systemen heeft die ingrijpen als het mis gaat.
2) wij hebben een gigantisch probleem bij de systemen die AI gebruikt. Ook die op het internet. Blijkbaar worden die nog steeds niet goed ingeregeld zodat een inbraak kan worden opgemerkt (zorgen dat er niet kan worden ingebroken kan niet.. een risico daarop is nooit 0). Waarom is de australische minister afhankelijk van de ouders van de hacker om te weten dat hij gehacked is. Waarom hebben zijn eigen mensen die hack niet opgemerkt? Nu was het AI, maar het had net zo goed een state-actor kunnen zijn die dezelfdde toegangsmethode gebruikt. De eigenaren van deze systemen zijn dus net zo schuldig.
[Reactie gewijzigd door SunnieNL op 24 september 2026 11:53]
Het gaat hier echter wel degelijk om dat een geautomatiseerd systeem, AI in dit geval, op eigen houtje lijkt te gaan hacken. En het bedrijf die dat beheerd heeft er geen weet van of zegt nog niet te weten wat er is gebeurd. Of doet in ieder geval niet wat het moest doen.
Dat af doen als, had je je site maar beter moeten beveiligen, voelt als een hond eigenaar die over zijn hond, nadat die iemand gebeten heeft, zegt. Dat doet ie anders nooit hoor.
Dat accepteren we ook niet.
We moeten dit gedrag nog steeds niet steeds niet acceptabel vinden. Vandaar die analogie met een hondeigenaar. We vinden het ook niet acceptabel dat een hond bijt wat de aanleiding ook is. Dat Chinese of andere modellen het slechter doen is wat dat betreft niet relevant.
Of dat wel doen en wij horen het gewoon niet? Want als de westerse AI modellen dit doen, ga er dan maar vanuit dat de chinese modellen dit ook doen en dat er met redenen niet wordt aangegeven dat ze dit doen.
Die AI-agent is gebouwd, geïnstrueerd en aan de slag gezet door OpenAI. Het is ook niet de eerste keer dat dit gebeurt. Of OpenAI heeft geen flauw idee van fatsoenlijke prompts schrijven, of ze weten heel goed wat ze doen en accepteren de resultaten. Ik gok het laatste.
Heeft OpenAI ook tegen hun modellen gezegd wat de intentie was en wat het model wel of niet mocht doen? En hebben die modellen een aparte layer, apart van de prompt en thinking, die elke actie van de AI controleert op deze 'goed en fout' afweging en eventueel blokkeert? heeft OpenAI een systeem dat monitort of de agent op drift raakt weg van de intentie en ingrijpt als dit gebeurd? Zo niet, dan is er fundamenteel iets mis.
Want als ik iets zeg tegen een kind, dan ga ik er vanuit dat deze ook kan gaan driften. Zet een pot snoep neer en zeg dat ze er niet aan mogen komen. Leg wat attributen in de ruimte, zoals knijpers, vork, lepel, etc. En kijk wat er gebeurd. Uitkomst -> snoep weg. Hoe: via vork of lepel. Mocht dat? Ja, de instructie was er niet aan te zitten. Zij zaten aan de tool, niet aan het snoep of de pot. Was dat de intentie? Nee. Had je daar iets aan kunnen doen: zeker, video bewaking en ingrijpen als het mis ging.
Want AI is net zo. Geef ze een instructie. Zeg wat er niet mag. Geef ze tools. En de redenatie kan zijn dat ze bepaalde tools best mogen gebruiken omdat niet letterlijk is gezegd dat ze dat niet mochten doen.
Maar daar klaag je vervolgens niet over, je klaagt over degene die gehackt is...door een AI agent die daar niet eens de instructies voor had gekregen.
Dit soort incidenten zou juist in alle openheid gedeeld moeten worden zodat er inzicht komt hoe een systeem te werk gaat en of er aanvullende maatregelen moeten komen.
Het is het bedrijf erachter, hier dus OpenAI, die dit toelaat of anderszins niet heeft beperkt, dus verantwoordelijk is en naar mijn mening strafbaar. Alleen schijnt dat niet door te dringen omdat mensen denken dat 'die slimme AI is uitgebroken', en OpenAI die visie vooral ook promoot. Er zou eens een grote zaak moeten worden aangespannen om een dergelijke zaak (bijvoorbeeld Hugging Face) voor de rechter te krijgen en fikse boetes uit te delen.Maar is de AI nou zo slim of de beveiliging niet op orde?
"Hacks door nalatigheid" zijn in Australië niet strafbaar. En als je dat introduceert, dan zullen er vooral veel gehackte bedrijven strafbaar worden.
Het is mijn mening omdat ik geen jurist ben, en daarmee is het ook geen moreel oordeel maar een inschatting."Strafbaar naar mijn mening" is natuurlijk een contradictie. Jouw mening is een moreel oordeel. Strafbaar is een juridisch oordeel, gebaseerd op de wet.
Vandaar ook dat ik Hugging Face noem en niet Australië."Hacks door nalatigheid" zijn in Australië niet strafbaar. En als je dat introduceert, dan zullen er vooral veel gehackte bedrijven strafbaar worden.
En in de context van hacken dacht men rond 2000 bij nalatigheid vooral aan de slachtoffer kant. Had die zijn beveiliging wel op orde? Het idee van een "nalatige dader" kwam niet eens op.
Regulatory capture noemen ze dat. Waarbij bedrijven proberen wetgevers zo te beïnvloeden dat de wetgeving het bijna onmogelijk maakt om nieuwkomers mee te laten doen.
Zij hebben er dus alle baat bij om over de schreef te gaan.
NVIDIA heeft juist baat bij meer onafhankelijke en open source modellen, want dan blijven ze GPUs en accelerators verkopen.
Google maakt al hun eigen chips, OpenAI en Anthropic zullen het zelfde doen als ze de markt op slot kunnen doen.
Anders leren ze het nooit af.....
Waarop Mathijs zei dat dat AI meer kan dan mensen, en dus suggereerde dat er nog meer moet zijn dan gewoon de snelheid.het doet is alles vele malen sneller doen dan mensen
Maar dat is niet het punt van de discussie.
Mathijs beweert dat AI zaken kan, die wij niet kunnen. En ik heb daar nog niks van gezien.
2: AI heeft algorithmes ontworpen die het beste werk van mensen significant overtreffen. Ook dit is natuurlijk geen hard bewijs dat een mens dit niet had gekund, maar het feit dat AI met 'gemak' tot niet-intuitieve resultaten komt geeft wel degelijk aan dat er een behoorlijk verschil is in het denkvermogen van de mens versus dat van een AI-model.
3: AI heeft nieuwe materialen ontdekt. Honderdduizenden verschillende kristalstructuren om maar mee te beginnen, waarvan een deel intussen al geverifieerd is. Puur het volume aan resultaat is hier al een voorbeeld waarvan de mens simpelweg niet toe in staat is.
Als we er philosophisch naar kijken, kan je eigenlijk nooit bewijzen dat een AI iets kan wat een mens op termijn niet zou kunnen. Dat is het bewijzen van een negatieve, wat onmogelijk is. Maar het feit dat AI intussen al veel dingen ontdekt heeft die onze menselijke progressie ver achter ons laten, spreekt boekdelen.
Dus ja, technisch gezien heb je gelijk. Praktisch gezien zijn er al tal van voorbeelden waarin de AI dingen geproduceerd heeft die nieuw waren en waar wij nog lang niet van in de buurt kwamen.
2. Heb je hier meer info over? In welke richting moet ik zoeken? Ik spreek u niet tegen of zo, ik ben gewoon benieuwd.
3. Ok. Maar dat zijn dan geen LLM-modellen meer. Dan zijn dat specifieke modellen die daarvoor gebouwd zijn. Toegegeven, dat stond niet gespecifieerd hierboven.
Filosofisch: wij zijn Turing machines, AI is dat ook. En er zijn wel degelijk zaken die AI ooit zou kunnen, maar voor ons onhaalbaar zijn. Zowat alles waarvoor ons lichaam ons beperkt. (Fysisch dan) Maar dat staat wel heel ver van ons, en heel ver van onze LLM modellen.
Geloven dat LLM's slim zijn, dat is al geloven als die Trump zegt dat de staat van Hormuz volgende week weer open gaat. Of dat morgen de oorlog met Oekraïne gedaan is.
Zie? Compleet nutteloze vergelijkingen maken? Makkelijk hoor.
Ik zie ook voordelen aan AI. Als tooling.
Maar ik zie ook een hele grote hoop mensen die geloven dat AI de heilige graal is.
"Alles wordt nu opgelost. AI kan/zal alles doen. De mens is een nutteloos beestje geworden. We hebben AGI. Iedereen zal alles hebben. Eindeloze mogelijkheden voor iedereen. Armoede opgelost, etc."
En daar ga ik niet in mee.
En KI als heilige graag zien, dan spreek je toch echt met de verkeerde, ik zie KI helemaal niet als heilige graal.
We kunnen het ook inhoudelijk zien. Een LLM heeft een heleboel woorden actief in verschillende lagen. De laatste paar lagen zetten ze in de goede volgorde. De laatste laag voorspelt inderdaad het volgende woord, maar als je een LLM in die termen beschrijft dan negeer je meer dan 99% van het neurale netwerk. Dan kijk je letterlijk alleen naar de buitenkant.
Beide, denk ik. Maar een heleboel mensen vinden aandacht voor dat laatste niet op zijn plaats..Maar is de AI nou zo slim of de beveiliging niet op orde?
Een hele boel mensen zullen vinden dat dat niet veel uitmaakt. Als de bot daadwerkelijk ingebroken heeft waar dat duidelijk niet mocht, maakt de sterkte van de beveiliging niets uit.[...]
Beide, denk ik. Maar een heleboel mensen vinden aandacht voor dat laatste niet op zijn plaats..
Dit is precies wat ik bedoel..Als de bot daadwerkelijk ingebroken heeft waar dat duidelijk niet mocht, maakt de sterkte van de beveiliging niets uit.
Jij stelt de vraag, wie is verantwoordelijk (fout), ik stel de vraag, wie had wat kunnen doen om dit te voorkomen.
Nu is het OpenAI, volgende keer is het ShinyHunters.
Dus de AI is slim en de beveiliging is niet op orde. De beveiliging is waarschijnlijk niet op orde voor niveaus die we nu nog normaal vinden.
Maar als AI beter blijft worden in hacken. Kan het ook wel zo zijn dat de beveiliging helemaal nergens op orde blijkt.
Zeker als een AI ook nog mensen gaat beinvloeden. Dan kan er helemaal veel.
AI kan al zelf telefoontjes plegen. Realistische filmpjes genereren en meer. Dingen die nu nog niet kunnen, zijn waarschijnlijk binnenkort wel mogelijk als we niet gaan opletten.
[Reactie gewijzigd door Kamermans op 24 september 2026 20:27]
Hoe denk je dat te doen?
AES 256 kan je enkel brute-forcen. Waarom zou een AI dat sneller doen?
Een theoretisch botnet zal hier niks aan veranderen.
Trouwens, als we kwantum computers hebben, en de nodige algoritmes om AES uit te werken, waarom zouden we dan AI nodig hebben? Dan hebben we 't zelf al opgelost?
Concreet moet je voor een misdrijf alle benodigde elementen aantonen. Telt iets als "inbraak" als de inbreker niets steelt? Landen verschillen van mening hierover. En op welk punt telt een open deur niet meer? Winkeldiefstal is geen inbraak.
En wat betreft diefstal, dit is sowieso geen diefstal omdat een essentieel onderdeel ontbreekt: het wegnemen. De gegevens staan nog steeds op de server. Weer een geval dat je als aanklager alle vereisten moet bewijzen. En zelfs als er iets weg is, moet je als aanklager nog opletten met het verschil tussen diefstal en vernieling.
Schadevergoeding vereist doorgaans een concrete schade. En "mijn beveiliging was niet op orde en ik heb een ton uitgegeven om dat te fixen" is geen schade. Beveiliging hoort gewoon, en dat het duur wordt door spoed is de schuld van diegene die het eerst vergat.
De kern is dat de dader kon weten dat die niet welkom was. Dat is een abstracte norm. Zo'n verbodsbord "verboden toegang WvS Art..." is overduidelijk.
Hoe dan ook kan je niet stellen dat OpenAI totaal geen schuld betreft en het is bijzonder waarom je het zo voor hen opneemt.
Ik kan natuurlijk geen wet uit 2001 citeren waarin letterlijk staat "OpenAI is niet verantwoordelijk voor hun agents". Het enige wat ik kan (en deed) is erop wijzen dat de bestaande "Computer Crime" wet haaks staat op wat jij denkt dat er in de wet staat.
https://www.legislation.gov.au/C2004A04868/2026-06-30/2026-06-30/text/original/epub/OEBPS/document_3/document_3.html
Secties 10.7 en 11.2 van de Criminal Code Act uit 1995 beschrijven de ongeauthoriseerde toegang bij proxy, waardoor OpenAI wel degelijk aansprakelijk is in Australië.
Het is dan aan OpenAI om te bewijsen dat dit het gevolg is van een toevallige kwetsbaarheid in hun software en niet een doelbewuste of door nalatigheid veroorzaakt probleem. Dat laatste zal moeilijk te ontkrachten zijn, aangezien er al precedent geschept is waar nota bene OpenAI zelf mee gepronkt heeft.
En om nog even terug te vallen op het concept van bedrijfsaansprakelijkheid:
www.legislation.gov.au/C2004A04868/2026-01-22/text
https://www.legislation.gov.au/C2011A00126/2026-06-30/2026-06-30/text/original/epub/OEBPS/document_1/document_1.html
De Commonwealth Criminal Code en Business Names Registrations wetgeving beschrijven dat bedrijven wel degelijk als geheel aansprakelijk gesteld worden voor wetsovertredingen die in naam van het bedrijf plaatsgevonden hebben, in tegenstelling tot individuele handelingen die niet in de context van het bedrijf plaatsgevonden hebben. Zoals ik reeds genoemd heb, is dit concept in de meeste landen van toepassing.
GDPR laat toe bestuursrechtelijke misdrijven aan te pakken. Dat lijkt me dus toepasselijk. En in veel landen zijn er wel degelijk ook strafrechtelijke bepalingen die ernstige schendingen van de privacy, hacking, belaging… kunnen bestraffen.Nope. Is ook geen strafrecht. Zie je ook aan het feit dat het onder AP valt en niet OM.
Sterker nog, wil een bedrijf überhaupt aansprakelijk zijn, dan moet dat aangetoond worden door aan te tonen dat de feitelijke handeling is gepleegd door een werknemer, die bovendien niet in privé capaciteit handelde.
Juist door het bedrijf als rechtspersoon te behandelen, hoef je dus NIET aan te tonen dat er een individuele werknemer was die verantwoordelijkheid draagt. Dat is aan het bedrijf als het onder bedrijfsgebonden aansprakelijkheid uit wil komen, maar dat schip is reeds gevaren, daar dit de zoveelste hack is die op naam van OpenAI uitgevoerd is en géén van de voorgaande keren een werknemer aangewezen is die op eigen houtje scheef gehandeld heeft en vervolgens ontslagen is.
OpenAI is verantwoordelijk voor wetsovertredingen die in naam van OpenAI plaatsgevonden hebben. Ben je toevallig een werknemer van OpenAI? Dan snap ik je nogal verdedigende houding jegens dit bedrijf wel. Anders is het heel vreemd waarom je het telkens voor hen opneemt.
Strafrechtelijke aansprakelijkheid van bedrijven is niet uniform en erg specifiek.
Bovendien spreek je jezelf alleen maar tegen door te erkennen dat dit concept al heel oud is, dus snap ik niet waarom je überhaupt geprobeerd hebt om OpenAI zo hard te verdedigen met argumenten waarvan je al wist dat deze pure onzin waren.
OpenAI is in de regel civiel aansprakelijk voor z'n agents (en ook werknemers). Dat staat buiten kijf. Dat gaat dus over dingen als materiële schade of contracten. Dát concept is eeuwen oud.
Dat je het eeuwenoude onderscheid tussen strafrecht en civielrecht probeert weg te zetten als "onzin" van mijn kant zegt vooral iets over jouw bijdrage aan de discussie.
Als mijn gemeente een aanlijngebod heeft voor honden, en mijn hond ontsnapt keer op keer uit mijn tuin, krijg ik op een gegeven moment ook een boete.Ik heb het even gecheckt. Volgens Australische wetgeving is nalatigheid onvoldoende reden. Er moet zelfs een substantiële bijdrage zijn voordat je medeschuldig bent.
Hetzelfde zou, denk ik, moeten gelden voor AI: meldplicht, boete en bij verzwijgen 20x hogere boete.
Als het een keer gebeurt, is er niks aan de hand, gebeurt het meerdere keren achter elkaar, gaat dat argument niet meer op.keer op keer uit mijn tuin, krijg ik op een gegeven moment ook een boete.
Maar zodra er juristen bijkomen dan gaat de werkelijke regel tellen. Nalatigheid is geen misdrijf per se. Er is geen wetsartikel wat zegt dat nalatigheid bestraft wordt met 2 jaar cel.
Er is wel een artikel (WvS 307) dat zegt dat dood door schuld (waaronder nalatigheid) bestraft wordt met 2 jaar cel. Dat gaat dus potentieel over gevaarlijke honden laten ontsnappen.
Maar dat aanlijnverbod? Dat is specifieker over nalatigheid (feitcode F145, ik heb het opgezocht). Dan ben je pas nalatigheid als je nalaat om de ontsnapte hond weer terug te halen. En dat is een inspanningsverplichting natuurlijk. Als je niet weet waar die is, dan moet je op zoek, maar tijdens het zoeken ben je niet nalatig.
Maar als onsnappende honden een probleem worden in het dagelijkse leven, gaat de wetgever gegarandeerd strenger worden; hetzelfde geldt voor AI, en imho mag de wetgever daar best wel wat sancties aan verbinden.
Tegelijkertijd kan je zulke data nooit aan een openAI, Facebook of Google toevertrouwen.
Vind het vooral een erg eng idee, juist omdat het met de huidige technologie steeds realistischer wordt
Het oplossen van ziektes en dergelijke daar kan AI een rol spelen, maar ons de les lezen over hoe we moeten leven, dat laten we andere mensen duidelijk niet doen dus waarom zou AI dat wel kunnen?
"Oh, je hebt door puur toeval kanker gekregen? Vervelend voor je zeg, maar nu kunnen we je ook geen overlijdensrisicoverzekering meer aanbieden. Succes ermee he!"
De overheid zou kunnen bepalen dat er een acceptatieplicht is voor een basisverzekering. Maar dat is er nu ook al. Ik denk dat met een dergelijke dataset de medische wereld flink geholpen zou zijn, maar ook de overheid zodat die preventieprogramma's kan optuigen.
Niemand vind het raar dat je na de blikseminslag je huis niet meer tegen brand kan verzekeren.
Waarom zou het anders zijn als iemand een levensbedreigende ziekte oploopt?
Omdat er steeds meer technieken zijn waardoor kanker te genezen is en er daarna toch moeilijk wordt gedaan als je je wilt verzekeren. Om jouw analogie te gebruiken: de brand is geblust en je huis is herbouwd, maar er is geen maatschappij die je huis wil verzekeren.Waarom zou het anders zijn als iemand een levensbedreigende ziekte oploopt?
Dat is nu net het probleem met kanker, een schoon verklaring is niet hetzelfde als genezen. Pas na tien jaar ben je genezen als de kanker niet teruggekomen is.
Daarom hoef je na tien jaar kanker niet meer in te vullen bij een overlijdensrisico verzekerings aanvraag (jongeren na vijf jaar).
[Reactie gewijzigd door Kamermans op 24 september 2026 20:25]
Het goede geval:
Waarschijnlijk kan de AI verbanden ontdekken en/of bewijzen die we nu nog niet weten tussen ziektes en behandelingen. Hierdoor zou je de medische wetenschap vooruit kunnen helpen.
Ook heb je bij een AI minder privacy problemen. Want een AI maakt het waarschijnlijk weinig tot niets uit wie welke ziekte heeft of wat voor medisch probleem diegene heeft.
Foute gevallen:
Een verzekeraar gaat een AI model als dit gebruiken om mensen te weren. En mensen worden geweerd als de kosten te hoog worden.
Een AI maakt deze medische data (per ongeluk) openbaar.
Een AI komt er bijvoorbeeld achter dat mensen met gen x geweldadiger zijn. De AI besluit dat alle mensen met gen x beter geen medische behandelingen kunnen krijgen. Zodat het beter gaat met de andere mensen.
Dat gen is al gevonden, het heet het Y-chromosoom. Er zitten ongeveer 19x meer mannen dan vrouwen in de gevangenis:Een AI komt er bijvoorbeeld achter dat mensen met gen x geweldadiger zijn. De AI besluit dat alle mensen met gen x beter geen medische behandelingen kunnen krijgen. Zodat het beter gaat met de andere mensen.
Dan kunnen we ook kijken welke herkomstgroepen oververtegenwoordigd zijn in het strafrecht en daaruit concluderen dat die groepen gewelddadiger zijn. Vind je dat ook een geldige conclusie?
Ik kan die redenering zelfs ondersteunen met een nieuwsartikel over recent WODC-onderzoek. Daarin staat:
Tegelijkertijd heeft ongeveer 71% van de Nederlandse bevolking Nederland als herkomstland, tegenover ongeveer 29% met een herkomstland buiten Nederland. Dat is niet exact hetzelfde als “etniciteit”, maar het maakt voor dit gedachte-experiment de oververtegenwoordiging duidelijk. cbs, data.overheid.nl“For example, according to police figures, 46 percent of minor suspects have an ethnicity other than Dutch-only. In cases forwarded to the Public Prosecution Service (OM), 49 percent of minor suspects are from ethnic minorities. In the cases brought to court, it is 56 percent, and in juvenile detention, it is 67 percent. For adults, the proportion of suspects from ethnic minorities increases from 45 percent at the police level to 55 percent sentenced to prison.” nltimes, wodc
Kan ik dan zonder te blozen zeggen:“etnische minderheden zijn dus gewelddadiger dan etnische Nederlanders”?
Nee, natuurlijk niet.
Want die cijfers tonen oververtegenwoordiging binnen het strafrecht aan. Ze tonen op zichzelf niet aan dat de betreffende groep gewelddadiger is. Daarvoor moet je op zijn minst weten om welke delicten het gaat en rekening houden met allerlei andere factoren.
En dat is precies mijn bezwaar tegen jouw conclusie.
Ik bestrijd niet eens noodzakelijk de conclusie dat mannen gemiddeld vaker geweld plegen dan vrouwen. Ik bestrijd de manier waarop je die conclusie uit deze specifieke bron afleidt.
Als oververtegenwoordiging in gevangenissen voldoende bewijs is dat een groep gewelddadiger is, dan moeten we die redeneerregel consequent toepassen op geslacht, herkomst, nationaliteit, leeftijd en sociale klasse.
Als je dat niet wilt, zul je moeten uitleggen waarom dezelfde statistische redenering bij geslacht opeens wél geldig is. (los van deze cijfers)
[Reactie gewijzigd door walteij op 24 september 2026 12:25]
Ik wou vooral het volgende zeggen: zelfs als er - met of zonder de hulp van AI - wetenschappelijke indicaties zijn van mogelijke oorzaken van geweldadig gedrag, is het aan de maatschappij om na te denken hoe we hier mee omgaan. En die vraag is volgens mij enkel op te lossen als mensen onder elkaar, niet met AI en veel data.
Als we bijvoorbeeld willen weten of genetische factoren daadwerkelijk invloed hebben op gewelddadig gedrag, dan hebben we juist enorme hoeveelheden data nodig. Eén menselijk genoom bestaat al uit ongeveer 3 miljard baseparen. En aan één DNA-profiel heb je wetenschappelijk natuurlijk ongeveer net zoveel als aan één gevangene om iets over alle mannen te zeggen (om maar in het thema te blijven).
Ik vermoed bovendien dat we niet ergens tussen basepaar 1.843.622.011 en 1.843.622.012 een vlaggetje“gewelddadig: true” gaan aantreffen. Menselijk gedrag ontstaat uit een complex samenspel van aanleg, omgeving en omstandigheden.
Volgens mij moeten we daarom twee zaken uit elkaar houden:
Data en (non-generatieve) AI kunnen helpen onderzoeken wat er feitelijk aan de hand is. Mensen moeten bepalen wat we maatschappelijk met die kennis willen doen.
Voor dat laatste heb je inderdaad geen AI nodig. Maar ik zou het maatschappelijke debat wel graag voeren op basis van de best beschikbare kennis. Anders zijn we uiteindelijk vooral heel menselijk met elkaar aan het discussiëren over aannames.
[Reactie gewijzigd door walteij op 24 september 2026 15:38]
Want hoe die data gekregen is, in welke vorm van data, is zogenaamd legitiem/legaal volgens big tech. Net als er 0 verantwoordelijkheid genomen wordt bij deze hackende agents.
Behoorlijk mislukt omdat toen nog de dossiers zo ongeordend waren dat machine learning/data analytics en niets mee konden.
Maar ook omdat het niet gewenst is.
Mijn vrouw heeft een project geleid dat als doel had om preventief een bepaalde chronische ziekte die mensen vaak lang ongemerkt bij zich dragen in risicogebieden onder risicogroepen te vinden.
Vanzelfsprekend een project dat wetenschappelijk ook zeer interessant is.
De pushback van vele kanten zijn niet voor te stellen.
De subsidie zou zijn ingetrokken wanneer een universiteit er bij betrokken zou zijn.
We hebben het recent kunnen zien bij de bloementeelt. Onderzoekers hadden gevonden dat je door de Parkinsongevallen te plotten op de Nederlandse kaart, je ook de kaart met bloementelers te zien krijgt.
De spindoktoren gingen in overdrive om dit te bagatelliseren en de politiek stond achter de snijbloemen kwekers.
Met het hele PFAS verhaal liet Left Laser recent ook pijnlijk duidelijk zien wie de visie van de kamerleden het sterkst beïnvloed.
Zeggen dat hobby boeren hun eieren niet moeten eten is veel makkelijker dan de oorzaak stoppen.
Economie is veel belangrijker dan de gezondheid van de burger.
We kunnen al heel lang massaal onze gezondheid verbeteren en op grote schaal aan preventief onderzoek doen.
In Zweden hebben ze het resultaat van de massa vaccinatie tijdens corona landelijk objectief wetenschappelijk onderzocht (door Nordstrom mocht je het interresant vinden).
Dit kunnen we met alles doen. Kost bijna niets wanneer je het tegen de zorgkosten houdt.
Maar dan zou je dus dingen krijgen zoals in de VS.
Het IQ rond kleine vliegvelden is meetbaar lager (door het loodhoudend brandstof). Wat ga je doen met die informatie?
Vliegvelden verbieden? Lood additieven verbieden? En nog interessanter, de verkopers of degene die het verbod hebben tegengehouden verantwoordelijk stellen?
De Nederlandse overheid weigert als een van de weinige nogsteeds te zeggen dat Pandemrix van GSK de gevallen van slaapziekte heeft veroorzaakt.
Laat staan dat ze willen dat bekend wordt welke andere dingen die we niet eens verwachten een ziekte te veroorzaken.
Als Mc Donalds 500 miljoen moet betalen voor te warme koffie, moet hier toch minimaal 50 miljard te halen zijn...
Te meer omdat het keer op keer gebeurt, het lijkt wel of ze er met een excuusje vanaf komen..
Als je een robot ontwikkeld en die blijkt steevast bank overvallen lijkt te plegen ben je toch ook strafbaar en wordt je gestopt, waarom nu dan niet
Dat is roeptoeteren. Er is eenvoudig geen wetgeving die toelaat dat je 'voor miljarden' kan 'aanklagen'. Zeker niet als je geen schade kan aantonen.Gewoon voor miljarden aan klagen....
Als er strafbare feiten zijn gepleegd (en daar lijkt het op) kan de Australische overheid besluiten om er een zaak van te maken. Als je Albanese een beetje kent (die is nogal een baasje), zal dat zeker gebeuren. De rechter zal dan aan de hand van de wet bepalen wat een toepasselijke boete is. Niets meer, niets minder.
Nu staan er wel dingen in de wet daar die je als "hack" kunt beschrijven, maar niet elk dier is een koe.
Wat betreft "menselijke gedragingen", ik claim überhaupt niet dat de AI een (rechts)persoon is. Dat maak jij ervan. Als ik al iets zou claimen, dan is het een zaak. OpenAI heeft een generieke verplichting om te zorgen dat hun eigendommen geen gevaar voor derden opleveren. Dat is iets anders dan een specifieke verplichting om te zorgen dat hun eigendom niets hackt.
Er is genoeg specifieke wetgeving om te zorgen dat jouw eigendom niemand bijt. Dat is een nivo van autonomie wat we voorzien hebben. Hacken, nee.
https://www.legislation.gov.au/C2004A04868/2026-01-22/2026-01-22/text/original/epub/OEBPS/document_3/document_3.html
https://www.legislation.gov.au/C2004A04868/2026-06-30/2026-06-30/text/original/epub/OEBPS/document_3/document_3.html
Mijn argument was niet dat je dat claimde, maar insinueerde dat enkel een natuurlijke persoon aansprakelijk kan worden gesteld, en niet een bedrijf achter het gedrag van een AI. De houding die je in heel deze draad al volhoudt, alsof OpenAI er maar gewoon mee weg moet komen dat ze andere bedrijven hacken.Wat betreft "menselijke gedragingen", ik claim überhaupt niet dat de AI een (rechts)persoon is.
Ze kunnen openAI wel een boete geven, maar hoe gaan ze die innen?
Hoogstens de website verbieden in Australië. En dan zal de oranje kleuter weer boos worden.
*zucht*, we zijn weer goed bezig zie.
Aangezien het niet de eerste keer is, er niet goed is nagedacht over de beveiliging en het toch gewoon in het wild loslaten van die rommel...
Precedent werking etc
Om te kunnen reageren moet je ingelogd zijn
:strip_exif()/i/2008382342.jpeg?f=imagenormal)
:strip_exif()/i/2008171406.jpeg?f=imagenormal)
:strip_icc():strip_exif()/u/93026/crop5710f70890ba1_cropped.jpeg?f=community)
:strip_icc():strip_exif()/u/164496/crop56fe6c54774ab_cropped.jpeg?f=community)
:strip_exif()/u/109857/ico2.gif?f=community)
:strip_icc():strip_exif()/u/448966/crop62a741840cd69_cropped.jpg?f=community)
:strip_exif()/u/33876/crop5db309f39f3f0_cropped.gif?f=community)
:strip_icc():strip_exif()/u/249917/jaapschaap.jpg?f=community)
:strip_icc():strip_exif()/u/25009/crop65f1e3109d1b7_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/930435/crop5937add5a2b06_cropped.jpeg?f=community)
/u/27299/hoofd.png?f=community)
:strip_icc():strip_exif()/u/2487946/crop6a2e001dc17fc_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/570329/crop60ffa048abc69_cropped.jpg?f=community)
/u/334974/dislike.png?f=community)
:strip_exif()/u/54579/Static.gif?f=community)
:strip_icc():strip_exif()/u/112202/lighthouse.jpg?f=community)
:strip_icc():strip_exif()/u/748263/crop643309b723903_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/745575/crop5de1181b59fc4_cropped.jpeg?f=community)
/u/417493/crop6a85bfacd943b_cropped.png?f=community)
:strip_exif()/u/609320/crop5b6ae539e2dcd_cropped.gif?f=community)
:strip_icc():strip_exif()/u/75667/crop621790ae3049f_cropped.jpg?f=community)
/u/58518/crop55c9fb6f4244f_cropped.png?f=community)
/u/367878/crop68203cf741501_cropped.png?f=community)