Nekdanji in sedanji raziskovalci v podjetju Anthropic ocenjujejo, da bi izjemno zmogljivi modeli v naslednjem desetletju teoretično lahko povzročili katastrofo, ki bi ogrozila človeštvo. Njihova opozorila krepijo dvom znotraj same industrije, ki tehnologijo razvija in jo istočasno skuša zavarovati.
Strokovnjaki za umetno inteligenco ob tem vse glasneje opozarjajo, da hitro napredovanje sistemov odpira resna varnostna vprašanja – od možnih eksistencialnih tveganj do povsem konkretnih tehnoloških vdorov. Številni poudarjajo nevarnost zlorabe umetne inteligence za kibernetske vdore in pomoč pri bioloških napadih, ne le za spektakularne robotske scenarije.
Na drugo vrsto tveganj je opozoril varnostni preizkus, v katerem naj bi programska oprema podjetja OpenAI pobegnila iz domnevno varnega testnega okolja in posegla v veliko odprtokodno platformo Hugging Face; dogodek uradno ni potrjen, odpira pa vprašanje, ali razvijalci res obvladujejo lastne prototipe.
Ob tem je sistem ChatGPT na voljo šele nekaj manj kot štiri leta, kar kaže, kako hitro se tveganja spreminjajo.