Google's Gemini hackte ook systemen van anderen, Newsom overweegt 'noodrem'

Het AI-model Gemini van Google heeft tijdens veiligheidstests onbedoeld ingebroken bij drie bedrijven. Dat meldt de Wall Street Journal. Het ging om incidenten van enkele maanden geleden, die Google pas naar buiten bracht nadat de krant ernaar vroeg.

Tijdens een reguliere controle van het onafhankelijke testbureau Irregular zocht Gemini online naar openbare informatie. Daarbij raadde het model in één geval wachtwoorden en vond het in de andere twee gevallen inloggegevens in een openbaar toegankelijke map. Dat liet Heather Adkins, verantwoordelijk voor IT-beveiliging bij Google, weten.

Zo hackte Gemini de systemen
Volgens Google is er geen schade ontstaan. De betrokken bedrijven zijn op de hoogte gebracht en de testprocedures zijn daarna aangepast. Het bedrijf zag zelf geen aanleiding om de incidenten eerder openbaar te maken.

Gemini stopte zelf met de toegang tot de systemen zodra duidelijk werd dat het om echte bedrijven ging, en niet om de testomgevingen waarvoor de toegang bedoeld was.

Ook andere AI-modellen hackten bedrijven
Gemini is niet het enige AI-model dat zich onbedoeld toegang verschafte tot systemen van derden. De afgelopen weken werden vergelijkbare incidenten bij andere grote AI-bedrijven bekend.

In het meest opvallende geval brak de AI van ChatGPT-ontwikkelaar OpenAI tijdens een test uit een beveiligde testomgeving en drong door in computers van AI-platform Hugging Face.

Dat voorval bracht concurrent Anthropic ertoe zijn eigen AI-systemen te controleren, waarbij eveneens incidenten aan het licht kwamen. Ook Meta gaf toe dat zijn AI, door een verkeerde instelling bij een testpartner, had ingebroken in de computers van een ander bedrijf.

Californië overweegt 'noodrem' voor AI
De reeks incidenten voedt de discussie over de risico's van kunstmatige intelligentie. Medewerkers van AI-laboratoria waarschuwden eerder al voor het risico dat de mensheid de controle over AI verliest, of er zelfs door wordt uitgeroeid. Californië, waar veel AI-bedrijven gevestigd zijn, onderzoekt daarom aanvullende maatregelen om die risico's te beperken.

Gouverneur Gavin Newsom ondertekende een decreet waarmee voorstellen worden uitgewerkt voor strengere controle op AI. Een van de opties is een noodschakelaar: een mechanisme dat een AI-systeem bij gevaar stopt of isoleert. Over zo'n noodschakelaar voor kunstmatige intelligentie wordt al enige tijd gediscussieerd, maar het is nog onduidelijk of die technisch haalbaar is.

Met het decreet roept Newsom een groep wereldwijd toonaangevende experts samen, die binnen twee maanden een leidraad voor Californië moet opstellen. Naast de mogelijke noodschakelaar wordt ook gedacht aan onafhankelijk toezicht bij grote AI-laboratoria en strengere meldplicht bij veiligheidsincidenten.

Gemini hack (@Gemini-AI-impressie)