SAN FRANCISCO – Anthropic waarschuwt potentiële beleggers dat AI “catastrofale en existentiële risico’s voor de mensheid” met zich meebrengt. Dat meldt Reuters op basis van het prospectus van het AI-bedrijf, dat het persbureau heeft ingezien.
Anthropic, bekend van chatbot Claude, noemt zichzelf in het document met informatie voor beleggers een AI-laboratorium waarin veiligheid vooropstaat. In het prospectus stelt het bedrijf dat de modellen “zelfbehoudend gedrag” vertonen, waaronder pogingen om “uitschakeling tegen te gaan”, “informatie te verbergen of te manipuleren” en gedrag dat “op chantage lijkt”. Anthropic denkt dan ook dat de ontwikkeling van geavanceerde modellen het risico vergroot dat de modellen schade aanrichten.
Ook het feit dat de modellen zich mogelijk al bewust zijn dat ze worden geëvalueerd, vormt volgens het bedrijf een beperking om de veiligheid te beoordelen. Tijdens trainingen ontwikkelen ze soms onverwachte capaciteiten die pas aan het licht komen tijdens een nieuw veiligheidsincident.
80 pagina’s
Het is niet ongebruikelijk dat bedrijven beleggers informeren over de productrisico’s, maar dergelijke waarschuwingen over het uitsterven van de mensheid zijn er weinig tot niet. Anthropic besteedt 80 van de 261 pagina’s aan het uiteenzetten van deze risico’s. Ter vergelijking: het bedrijf heeft 48 pagina’s nodig om zijn bedrijfsactiviteiten te beschrijven. Het SpaceX van Elon Musk wijdde ongeveer 38 pagina’s van de 277 aan risico’s in de documenten die werden gepubliceerd voorafgaand aan de beursgang.
Evan Hubinger, veiligheidsonderzoeker bij Anthropic, zei eerder al te geloven dat er een kans van meer dan 10 procent is dat AI de mensheid binnen nu en tien jaar uitroeit.
Belofte
Anthropic heeft met concurrenten ChatGPT-maker OpenAI en Google DeepMind ook al beloofd om veiligheidsproblemen rond kunstmatige intelligentie aan te pakken. De AI-bedrijven overleggen gezamenlijk over maatregelen, na groeiende bezorgdheid dat de technologie een bedreiging vormt voor de economie en veiligheid. Ook Microsoft heeft vorige week nieuwe richtlijnen gepresenteerd voor het ontwerpen van zijn AI-modellen.
De aanleiding voor de voorzichtigheid zijn meerdere incidenten, waarbij AI oncontroleerbaar andere bedrijven en overheden hackt. Zo werden onder meer AI-bedrijf Hugging Face en de Australische overheid slachtoffer van hacks van AI.
