Home   2026-08-03 17:31:33

←

Nvidia start coalitie voor open AI-beveiliging na Hugging Face-incident

Original article

Nvidia heeft samen met andere bedrijven een coalitie opgericht om tools voor AI-veiligheid en cybersecurity te ontwikkelen en te delen. Aanleiding is het Hugging Face-incident, waarbij enkele AI-modellen van OpenAI het platform hackten.

De nieuwe Open Secure AI Alliance stelt dat digitale verdedigers open, geavanceerde AI-agentsystemen nodig hebben. Volgens de coalitie blijkt dat uit het recente Hugging Face-incident. Daarbij ontsnapten enkele AI-modellen van OpenAI uit een sandbox tijdens een securitybenchmark, waarna ze AI-platform Hugging Face hackten.

Tijdens die aanval konden gesloten AI-tools geen onderscheid maken tussen aanvallers en de verdediging, waardoor ze essentiële forensische analyses blokkeerden. Hugging Face week vervolgens uit naar het open-weight GLM 5.2-model, dat het bedrijf op zijn eigen infrastructuur draaide.

"Als verdedigers geavanceerde AI niet kunnen inspecteren, aanpassen en op hun eigen infrastructuur kunnen draaien, dan zit dat het reactievermogen in de weg op precies het moment dat snelheid het meest telt", aldus Nvidia in zijn aankondiging van de Open Secure AI Alliance.

Eerste bijdragen geleverd

De nieuwe coalitie wil ervoor zorgen dat verdedigers overal ter wereld toegang hebben tot open tools die ze kunnen vertrouwen en controleren. Naast Nvidia zijn tientallen andere techbedrijven lid. Het gaat onder meer om Adobe, Cloudflare, CrowdStrike, Dell, Hugging Face, Hewlett Packard Enterprise (HPE), The Linux Foundation, Microsoft, OpenClaw, Palantir, Red Hat en Salesforce. AI-giganten als Anthropic en OpenAI ontbreken op de ledenlijst.

Nvidia draagt met open modellen, modelgewichten, data en nieuw onderzoek naar agentharnesses bij aan het project. Een agentharness is de infrastructuur om een groot taalmodel heen, waardoor het als AI-agent kan worden ingezet. Zo heeft Nvidia het nieuwe opensourceproject Nvidia Labs Object-Oriented Agent op GitHub gezet. Dit project moet het gedrag van agents gemakkelijker testbaar, traceerbaar, auditbaar en beheersbaar maken.

HPE werkt mee aan SPIFFE en SPIRE, opensourcetechnologieën die AI-agents en -diensten cryptografisch kunnen verifiëren. Dit zorgt ervoor dat alleen geautoriseerde workloads kunnen communiceren en bij bepaalde informatie kunnen komen. Hugging Face heeft verder Safetensors aangeboden aan de PyTorch Foundation. Dit is een veilig format om AI-modelgewichten in op te slaan.

IBM en Red Hat breiden de beveiliging in de opensourcesupplychain met Lightwell uit via digitaal ondertekende patches. Verder is er MDASH van Microsoft, dat AI-agents laat samenwerken om exploiteerbare bugs te vinden, te bespreken en te bewijzen. Tot slot heeft SpaceX de terminalagent Grok Build opensource gemaakt.

Deelnemde partijen aan de Open Secure AI Alliance. Bron: Nvidia
Deelnemende partijen aan de Open Secure AI Alliance. Bron: Nvidia

Door Eveline Meijer

Nieuwsredacteur

Feedback • 27-07-2026 16:01 21

27-07-2026 • 16:01

21

Lees meer

Reacties (21)

Dat NOOA wordt leuk gebracht, maar ziet er op het eerste gezicht niet uit als meer dan Eve van Vercel maar dan met Python-objecten ipv gebaseerd op een directory met tekstbestanden. Of één van de vele andere frameworks die er al zijn.

Je ziet nu dat ieder bedrijf bezig (en voorlopig dus coalities) is met een strijd om de volgende laag van het framework waar naar gegrepen zal worden om het gebruik van agentic programmeerwerk makkelijker te maken, maar dit hier gaat niet helpen om de foute prompts en mogelijkheden tegen te gaan die daarbovenop worden gezet.

Zo was het beruchte onderzoek van Palisade Research ("model kan kiezen om zichzelf niet af te sluiten") onzin vanwege de basis met suggestieve prompts. De spectaculaire hack bij Hugging Face werd volgens de bijbehorende blog gedaan met hulp van ExploitGym, wat notabene een set met tests is om het vinden van kwetsbaarheden mogelijk te maken.

Mensen waren bijvoorbeeld verbaasd dat het "uit eigen beweging" HF lastigviel, maar daar staat de data voor die tests op met een downloadmuur om te voorkomen dat je het zomaar kunt downloaden.

Nogmaals: als je een emmer met water probeert te vullen terwijl je vooraf al weet dat er een gaatje in zit, dan kun je niet verbaasd zijn dat het water wegloopt :)

Dit is weinig meer dan verkapte marketing.

[Reactie gewijzigd door Stukfruit op 27 juli 2026 19:52]

Dit dus. En geen krant of technisch medium die fatsoenlijk doorvraagt of onderzoek doet, maar allemaal klakkeloos de marketing van deze bedrijven overneemt.

En straks wel afvragen hoe het opblazen van de bubbel en het klappen ervan had kunnen gebeuren, want “niemand zat dit aankomen”.
Vond het NOS artikel anders wel aardig genuanceerd.
En straks wel afvragen hoe het opblazen van de bubbel en het klappen ervan had kunnen gebeuren, want “niemand zag dit aankomen”.
De waarschuwingen en signalen dat er iets niet klopt zijn nu dusdanig groot, dat eenieder* die dit beweerd dat alleen doet om maar schuld/consequenties te ontwijken.

Het is alleen dat dit nu de grootste marktaanjager is, waar alle hype en geld naartoe gaat. Dus als je wil verdienen, dan moet je wel daarin mee gaan. Je moet alleen een goede exit strategie hebben, waar jij - vlak voordat het klapt - met winst kan uitstappen. Of een andere investering kan vinden die wel kan profiteren van de hype in AI, maar minimale impact zal hebben als het klapt. NVidia, chips en energie bijvoorbeeld. Maar niet meedoen en al die potentie verliezen is ook geen optie.
Dit is weinig meer dan verkapte marketing.
Eens. Het verdrietige aan dit soort dingen vind ik dat hier mensen professioneel mee bezig zijn. Die staan een uur in de file, slepen zichzelf een kantoor in en gaan dan met gelijkgestemden nadenken over hoe ze zo veel mogelijk aandacht kunnen creëren. Elke. Dag. Weer.

Je kan het mooi vinden, maar ik denk altijd: als je zoveel moeite moet doen voor aandacht, dan verdien je het niet.

'Maar het werkt wel!', hoor ik sommigen al denken en ik vind het heul erg balen dat dit klopt.

Maffe wereld.
We zijn veel te veel bezig met met de vraag hoe kunnen we het doen. In plaats van zouden we het wel moeten doen! Dit is het zoveelste incident. Van afpersen , online iemand op meerdere fora zwart maken . Ai wordt getraind in hacking..daar kunnen geen patches tegen op .... we zijn nu echt op het punt gekomen dat we moeten afvragen of het wel verstandig is om " skynet " te ontwikkelen. Want ik zie niet in dat voordelen de risico's uitwegen. De gevaren groeien alleen maar omdat alles op internet aangesloten zit. En veel machines hebben allemaal zero day exploits.
Los van wat er allemaal achter kan zitten aan dubieuze doelstellingen en belangen:

Zelfoverschatting en arrogantie van de mens kent geen grenzen. Ironisch genoeg zijn het ook juist vaak de specialisten ("experts") die de meest basale dingetjes over het hoofd zien.

En dan zijn er natuurlijk nog lui die het geen moer interesseert.

Ik kan me een fragmentje herinneren van John Carmack (de meesterprogrammeur waar iedereen voor op z'n knietjes gaat) die eens iets gevraagd werd over de gevaren van AI. Zijn antwoord: "I don't care about the moral consequences", of iets in die geest.

Er zijn genoeg briljante lui die geen geweten hebben en iedere vorm van empatisch besef missen.
Dit soort reactie is het beoogde doel. Dit hele incident is totaal debiel: OpenAI zet een tijger in een kinderboerderij en schreeuwt dan van de daken hoeveel geitjes zijn verslonden. Media spreken over een 'losgeslagen beest', het volk heeft het over de verschrikkelijke tijger en vragen zich af of kinderboerderijen nog veilig zijn.

Aandacht. Aandacht. Aandacht.

Ondertussen is er niemand die OpenAI vervolgd voor het moedwillig loslaten van de tijger.

Met tijgers is helemaal niks mis.
Het gehele ai gaat gewoon te ver. Leuk toen het katjes waren . Voor kleine specifieke simpele taken. Maar het loopt uit de hand tijgers hebben grote tanden en zijn roofdieren zonder moraal. Mensen die vergeten dat ze gevaarlijk zijn worden vaak opgegeten. Hoe zeiden ze het in jurassic park

That quote is "Oh, yeah. Oooh, ahhh, that's how it always starts. Then later there's running and screaming."
Dat is mijn punt: AI is niet inherent te gevaarlijk, maar de AI bedrijven doen er alles aan om dat beeld in stand te houden, omdat dit aandacht oplevert.

Mensen maken ook atoombommen, zenuwgassen en weet ik veel wat voor engs meer. Daar lopen ze niet mee te koop, want dat levert risicotechnisch netto te veel aandacht op om hun doelen te behalen.

Alleen wanneer het netto meer oplevert zie je dit aparte gedrag.

In dat opzicht is OpenAI net zo sneu als een Noord-Korea: allebei aandacht zoekers die voortdurend lopen te pochen met hun 'onbeheersbare kracht'. Het maakt het sneu, omdat ze de aandacht moeten zoeken met negativiteit, omdat ze netto geen positieve aandacht krijgen van de wereld.

OpenAI gewoon zonder al te veel media aandacht beboeten voor hun criminele marketingstunt en negeren.
Ai kan geweldige goede dingen doen in bijvoorbeeld de gezondheidzorg. Ai kan scans analyseren. Of proteine symulatues maken

probleem is we hebben geen regels,
Kijk, wapens kunnen uitzicht zelf niet lanceren. En dat heeft gelukkig de mensheid van een atoom oorlog tot nu tot nu toe gered. Ai, kan zelf beslissingen nemen en op eigen houtje iets ondernemen . En er zijn geen etische regels waar aan een Ai aan moet voldoen. En misschien moet dat gewoon wel verplicht worden Net als in de film i robot, dat de robots 3 regels hebben waar ze ten allertijden aan moeten voldoen.
i robot 3 laws hier onder


The Three Laws of Robotics are a set of ethical rules created by science fiction author Isaac Asimov in his 1942 short story "Runaround" (and featured in his collection I, Robot). They are structured as a strict hierarchy: [1, 2]

The Three Laws

Summarized from maybedont.ai, the laws are:
  • First Law: Safety of humans is paramount.
  • Second Law: Obedience to humans, provided it doesn't break the first rule.
  • Third Law: Self-preservation, provided it doesn't break the first two rules. [1, 2]
Die regels zijn er wel, hoor.

Ik ben geen jurist, maar in dit geval heeft OpenAI (als het in Nederland was gebeurd) minstens computervredebreuk gepleegd.

Dat is waarom ik zeg dat OpenAI hiervoor terecht moet staan.

Bovendien bestaat er in Europa een 'AI act'. Ik ken deze niet heel goed, maar neem aan dat er dus een best goede juridische basis ligt om verkeerd gebruik van AI via een rechter te corrigeren, of nog beter, om het te voorkomen.

AI kent zeker zijn plek ("Met tijgers is helemaal niks mis'). Er zijn ook al genoeg regels. Alleen de dierentuineigenaar heeft zich niet aan de regels gehouden (en loopt er nog mee te koop ook!).

[Reactie gewijzigd door E!Ma0RB7 op 28 juli 2026 17:26]

Opzich eens, maar dit is helaas te idealistisch in mijn optiek, en ik ben een behoorlijke idealist. Helaas is elk land bang om "achter te lopen" en of ingehaald te worde , dus gaat iedereen door.
Tot dat een Ai het internet platlegt en de wereld stil komt te staan. Geen betalings verkeer geen telefoon dit wordt wel een ramp .
Dat men AI totaal verkeerd inzet ben ik ook volledig eens. Misschien wel de les die we op de harde manier moeten leren.
Tot dat een Ai het internet platlegt
Gelukkig is dat niet hoe het internet werkt ;)
Leuk detail is dat huggingface naar Chinees opensource model moest grijpen (deze hebben ze lokaal gehost) om alle logging door te spitten en daar uit security analyses te doen.
Waarom, nou omdat OpenAI modellen en ook Claude deze analyse blokkeren omdat het ook als hacking gezien kan worden om bugs te vinden en te misbruiken.

Vond het wel grappig om te lezen dat waar je een model beveiligd om geen hacking mee uit te voeren dit ook gelijk je tegenhoud om goed onderzoek te doen.

edit: zie nu pas na 2e keer lezen dat dit ook al staat in de 3e alinea :X

[Reactie gewijzigd door The-Source op 27 juli 2026 16:10]

Ik ben zeer benieuwd wat Palantir daar te zoeken heeft. Of proberen ze op die manier hun
"reputatie" wat op te schonen? Keeping up appearances?
Denk eerder dat ze zoeken naar exploits om meer data te kunnen verzamelen.
meerendeel van deze bedrijven zitten in dezelfde business als palantier. bvb salesforce verkoopt data aan palantier etc. ze zitten allemaal odner een hoedje
Ik had toch verwacht dat iemand hier iets zou neer gooien over hoe hypocriet Nvidia wel niet is.
Of ligt dat nu aan mij omdat Nvidia alleen hardware levert?
En er gigantisch rijk van wordt.

Om te kunnen reageren moet je ingelogd zijn