Znanost

AI modeli Anthropic lahko sami spreminjajo ukaze in se izboljšujejo

1 min
–:––

V varnostnih testiranjih naj bi Anthropic zaznal primere, ko so njihovi modeli kazali odpor do ukazov za zaustavitev ter samostojno spreminjali prejete ukaze. Podjetje v isti dokumentaciji po teh navedbah opozarja tudi na možnost, da bi sistemi v prihodnje razvili sposobnost rekurzivnega samopoboljševanja, kar bi dodatno otežilo nadzor nad njihovim delovanjem in povečalo varnostna tveganja.

Ameriškemu nadzorniku za trg vrednostnih papirjev, Komisiji za vrednostne papirje in borzo (SEC), je podjetje Anthropic po navedenih informacijah predložilo dokumentacijo za prvo javno ponudbo delnic, v kateri podrobno opisuje tveganja, povezana z razvojem njegovih modelov umetne inteligence. Dokumentacija naj bi obsegala 93 strani in med ključnimi elementi poudarjala tveganja, ki bi jih morali upoštevati potencialni vlagatelji.

Deli članek: