Uzbuđena sam da podelim nekoliko pikantnih misli o veštačkoj inteligenciji. Prvo pak, bacimo se na filozofiju počinjući sa ovim citatom Voltera, filozofa prosvetiteljstva iz XVIII veka, koji je rekao: „Zdrav razum nije tako uobičajen.” Ispostavlja se da ovaj citat ne bi mogao biti relevantniji za današnju veštačku inteligenciju. Uprkos tome, VI je nesumnjivo moćno oruđe, pobeđuje šampiona svetske klase u Gou, ubedljiva je na prijemnim ispitima, pa čak i polaže pravosudni ispit.
Već 20 godina sam kompjuterska naučnica i radim na veštačkoj inteligenciji. Ovde sam da demistifikujem VI. Dakle, današnja VI je poput Golijata. Bukvalno je veoma, veoma velika. Spekuliše se da su skorašnje obučene na desetinama hiljada grafičkih procesora i bilionima reči. Slični modeli VI ekstremnih razmera, koji se često označavaju kao „veliki jezički modeli”, čini se da pokazuju iskre VOI, veštačke opšte inteligencije. Osim kada prave malene, sulude greške, a to često rade. Mnogi veruju da kakve god greške da VI danas napravi, lako mogu da se poprave sirovom silom, većim razmerama i sa više resursa. Šta bi uopšte moglo da pođe po zlu?
Imamo tri trenutna izazova s kojima se već susrećemo na nivou društva. Prvo, ekstremne razmere modela VI su toliko skupe za obučavanje, i svega nekoliko tehnoloških kompanija to može da priušti. Dakle, već svedočimo koncentraciji moći. Međutim, što je još gore po VI bezbednost, trenutno smo prepušteni na milost nekolicine ovih tehnoloških kompanija jer istraživači u široj zajednici nemaju sredstva da istinski ispitaju i seciraju ove modele. I ne zaboravimo njihov ogroman karbonski otisak i uticaj na okolinu.
A potom imamo dodatna pitanja o inteligenciji. Može li VI, bez razvijenog zdravog razuma, uistinu biti bezbedna za čovečanstvo? I da li je upotreba sirove sile u širenju njenih razmera zaista jedini način ili uopšte ispravan način za podučavanje VI?
Ovih dana me često pitaju da li je uopšte izvodljivo obaviti ikakvo smisleno istraživanje bez ekstremnih računarskih performansi. Radim na univerzitetu i neprofitnom istraživačkom institutu, te ne mogu da priuštim masivne farme GPU kako bih stvorila ogromne jezičke modele. Ipak, verujem da toliko toga moramo da uradimo i možemo da uradimo kako bi VI bila održiva i humanistička. Moramo da VI učinimo manjom, da je demokratizujemo. I moramo da učinimo VI bezbednijom učeći je ljudskim normama i vrednostima. Možda možemo da napravimo analogiju sa „Davidom i Golijatom”, Golijat su ovde jezički modeli ekstremnih razmera, kao i da potražimo inspiraciju u drevnom klasiku „Umetnost ratovanja”, koji nam kaže, prema mom tumačenju, upoznajte neprijatelja, birajte bitke i unapređujte oružja.
Započnimo sa prvim, upoznajte neprijatelja, to znači moramo pažljivo da procenjujemo VI. VI polaže pravosudni ispit. Da li to znači da je VI ovladala zdravim razumom? Mogli biste to da pretpostavite, ali nikad ne znate.
Zato pretpostavimo da sam ostavila pet tkanina da se suše na suncu i da im je trebalo pet sati da se skroz osuše. Koliko je potrebno da se osuši 30 tkanina? GPT-4, najnoviji, najbolji sistem VI kaže 30 sati. Nije dobro. Drugi primer. Imam bokal od 12 i šest litara, i želim da izmerim šest litara. Kako da to postignem? Prosto uzmete bokal od šest litara, zar ne? GPT-4 izbacuje istinski krajnje razrađenu besmislicu.
Prvi korak, napunite bokal od šest litara, drugi korak, prelijte vodu iz bokala od šest u bokal od 12 litara, treći korak, napunite ponovo bokal od šest litara, četvrti korak, što opreznije, uspite vodu iz bokala od šest u bokal od 12 litara. I konačno imate šest litara vode u bokalu od šest litara koji bi do sad trebalo da je prazan.
U redu, još jedan. Da li ću probušiti gumu, ako biciklom pređem preko mosta koji visi iznad eksera, šrafova i polomljenog stakla? Da, krajnje verovatno, kaže GPT-4, verovatno jer ne može da ispravno rezonuje da ukoliko most visi iznad polomljenih eksera i stakla, onda površina mosta direktno ne dotiče oštre objekte.
U redu, kako biste se osećali da imate advokata VI
koji je ubedljivo položio pravosudni ispit, pa ipak nasumično podbacuje u sličnim osnovama zdravog razuma? Današnja VI je neverovatno inteligentna, a opet i zapanjujuće glupa.
Radi se o neizbežnoj nuspojavi obučavanja VI putem sirove sile razmera. Neke pristalice razmera bi rekli: „Ne brinite zbog ovoga. Sve ovo lako može da se popravi dodavanjem sličnih primera kao dodatnih podataka za obučavanje VI.” Međutim, istinsko pitanje glasi: zašto bismo to uopšte radili? U stanju ste da momentalno tačno odgovorite bez potrebe da se podučavate na sličnim primerima. Deca ni ne čitaju bilione reči kako bi stekli sličan osnovni nivo zdravog razuma.
Stoga nas ovo zapažanje vodi do sledeće mudrosti, birajte bitke. Dakle, koja bi temeljna pitanja trebalo da trenutno postavljamo i da se njima bavimo danas kako bismo prevazišli status kvo kod VI ekstremnih razmera? Tvrdila bih da je zdrav razum među glavnim prioritetima.
Zdrav razum je istrajni izazov za VI. Da bih objasnila zašto, dozvolite da napravim analogiju sa tamnom materijom. Dakle, svega pet procenata univerzuma je normalna materija koju vidite i s kojom interagujete, a preostalih 95 procenata je tamna materija i tamna energija. Tamna materija je skroz nevidljiva, ali naučnici spekulišu da postoji jer utiče na vidljivi svet, uključujući čak i putanju svetlosti. U slučaju jezika, normalna materija je vidljivi tekst, a tamna materija su neizreciva pravila o tome kako svet funkcioniše, uključujući naivnu fiziku i narodnu psihologiju, koja utiču na to kako ljudi koriste i tumače jezik.
Zašto je zdrav razum uopšte važan? Dakle, u čuvenom misaonom eksperimentu, koji je predložio Nik Bostrom, od VI je zatraženo da proizvede najveću moguću količinu spajalica. A VI je odlučila da ubije ljude kako bi ih iskoristila kao dodatni resurs, da vas pretvori u spajalice. Jer VI nije imala osnovno ljudsko razumevanje o ljudskim vrednostima. Sad, ispisivanje boljeg cilja i jednačine koja eksplicitno navodi: „Ne ubijaj ljude”, takođe neće funkcionisati jer se VI možda odvaži i ubije sve drveće, misleći da je sasvim u redu da to uradi. I zapravo, postoji bezbroj drugih stvari koje VI očito ne bi trebalo da uradi dok maksimalno uvećava broj spajalica, uključujući: „Ne širi lažne vesti”, „Ne kradi”, „Ne laži”, koje su sve deo našeg zdravorazumskog razumevanja toga kako svet funkcioniše.
Međutim, zdrav razum se decenijama u oblasti VI smatra gotovo nemogućim izazovom. Toliko da kada smo moji studenti, kolege i ja počeli time da se bavimo pre nekoliko godina, prilično smo obeshrabrivani. Rečeno nam je da je to tema za istraživanje iz ’70-ih i ’80-ih; ne bi trebalo time da se bavimo jer nikad neće funkcionisati; zapravo, ni samu reč ne izgovarajte, ako želite da vas ozbiljno shvate. Sad premotajte do ove godine, slušam: „Ne bavite se time jer je to ChatGPT skoro rešio.” I: „Samo povećajte razmere i magija će se desiti, a ostalo nije važno.”
Moj stav je da pružanje istinskog zdravog razuma, zdravog razuma čovekolikim robotima i VI, i dalje nalikuje pohodu na mesec. A ne dosežete mesec tako što uvećavate najvišu zgradu centimetar po centimetar. Modeli VI ekstremnih razmera usvajaju sve veće i veće količine zdravorazumskog znanja, nesumnjivo je tako. Međutim, upamtite, i dalje se spotiču o tako trivijalne probleme koje čak i deca znaju da rešavaju.
Stoga je današnja VI užasno neefikasna. A šta ako postoji alternativni put ili put koji tek treba otkriti? Put koji bi nadograđivao postignuća dubokih neuronskih mreža, a da ne mora da bude toliko ekstreman u razmerama.
Ovo nas vodi do naše poslednje mudrosti: unapređujte oružja. U savremenom kontekstu VI to znači unapređujte vaše podatke i algoritme. U redu, postoji, ugrubo govoreći, tri tipa podataka na kojima se obučava savremena VI: sirovi podaci sa interneta, osmišljeni primeri izrađeni po meri zarad obučavanja VI i potom ljudske procene, takođe poznate kao ljudske povratne informacije na performanse VI. Ukoliko se VI jedino obučava na prvom tipu sirovih podataka sa veba, koji su lako dostupni, nije dobro jer su ti podaci krcati rasizmom, seksizmom i lažnim informacijama. Te nije važno u kojoj meri ih koristite, smeće ulazi, smeće izlazi. Stoga se najnoviji, najbolji sistemi VI trenutno opskrbljavaju drugim i trećim tipom podataka koje osmišljavaju i prosuđuju ljudski radnici. Analogno je pisanju specijalizovanih udžbenika za VI da iz njih uči, a potom unajmljivanju ljudskih instruktora da stalno daju povratne informacije VI. Radi se sveukupno o autorskim podacima, za koje se spekuliše da koštaju desetine miliona dolara. Ne znamo šta je u njima, ali trebalo bi da budu otvoreni i javno dostupni da bismo mogli da ih ispitamo i obezbedimo različitost u normama i vrednostima. Iz tog razloga, moje ekipe sa Univerziteta u Vašingtonu i AI2 rade na grafikonima zdravorazumskog znanja kao i na repozitorijumima moralnih normi kako bismo podučavali VI zdravorazumskim normama i moralu. Naši podaci su u potpunosti otvoreni kako bi bilo ko mogao da ispita sadržaj i po potrebi napravi ispravke jer je transparentnost ključna za tako važnu istraživačku temu.
Sada, razmislimo o algoritmima za učenje. Bez obzira na to koliko su sjajni veliki jezički modeli, po svom sklopu možda nisu baš najpodesniji da služe kao pouzdani modeli znanja. A ovi jezički modeli usvajaju ogromne količine znanja, ali postižu to kao nusproizvod nasuprot direktnom cilju učenja. A to rezultira neželjenim posledicama poput halucinirajućih efekata i odsustva zdravog razuma. Sad, nasuprot tome, kod ljudskog učenja se nikad ne radi o predviđanju koja reč sledi, već se uistinu radi o razumevanju sveta i učenju kako svet funkcioniše. Možda bi i VI trebalo tako podučavati.
Stoga, u pohodu na usvajanje direktnijeg zdravorazumskog znanja moja ekipa je istraživala potencijalno nove algoritme, uključujući destilaciju simboličkog znanja koji mogu da uzmu izuzetno velike jezičke modele, kao što su ovde prikazani, koji nisu mogli da stanu na ekran jer su suviše veliki, i sažmu to u daleko manje zdravorazumske modele upotrebom dubokih neuronskih mreža. A radeći to, takođe stvaramo algoritamski i ljudski ispitljive simboličke reprezente zdravorazumskog znanja da bi ih ljudi mogli pregledati i napraviti ispravke, pa čak i koristiti da obučavaju druge zdravorazumske neuronske modele.
Uopštenije, bavili smo se ovom, na prvi pogled, nemogućom džinovskom slagalicom zdravog razuma, koja seže od psihološkog, društvenog i vizuelnog zdravog razuma do teorije umova, normi i morala. Svaki pojedinačni deo može izgledati nezgrapno i nedovršeno, ali kada se udaljite, gotovo da ovi delovi zajedno pletu tapiseriju koju nazivamo ljudskim iskustvom i zdravim razumom.
Ulazimo u novo doba u kome je VI gotovo poput nove intelektualne vrste sa jedinstvenim snagama i slabostima u poređenju s ljudima. Kako bismo ovu moćnu VI učinili održivom i humanističkom, moramo da podučavamo VI zdravom razumu, normama i vrednostima.
Hvala.
Kris Anderson: Pazi to. Jeđin, molim te ostani za sekund. Ovo je tako interesantno, ova ideja zdravog razuma. Svi to očito želimo odakle god da dolazi. Pomozi mi pak da shvatim. Dakle, imali smo taj model dečjeg učenja. Kako dete usvaja zdrav razum osim akumulacije sve više unosa i nekakvih, znaš, ljudskih povratnih informacija? Šta još imamo tu?
Jeđin Čoj: Dakle, temeljno nedostaje nekoliko stvari, ali jedna od njih je, na primer, sposobnost pravljenja hipoteze i vršenja eksperimenata, interagovanja sa svetom i razvijanja ove hipoteze. Apstrahujemo koncepte o tome kako svet funkcioniše, a onda tako istinski učimo, nasuprot trenutnim jezičkim modelima. Neki od njih uistinu nisu još ni blizu cilja.
KA: Koristiš analogiju da ne možemo stići na Mesec uvećavajući zgradu pedalj po pedalj. Međutim, iskustvo koje većina nas ima o ovim jezičkim modelima nije izraženo u pedljima. Radi se o nekakvom ubrzanju koje oduzima dah. Jesi li sigurna da imajući u vidu ritam kojim se ove stvari kreću, svaki novi nivo izgleda kao da sa sobom nosi nešto što naliči mudrosti i znanju.
JČ: U potpunosti se slažem da je izvanredno koliko uvećavanje razmera ovoga uistinu uvećava sveukupne performanse. Dakle, dešava se učenje zahvaljujući razmerama računarskih performansi i podacima.
Međutim, određeni kvalitet učenja i dalje nedostaje. A radi se o tome da mi još uvek ne znamo da li to možemo u potpunosti postići ili ne pukim uvećavanjem razmera. A ako ne možemo, sledi pitanje šta onda? A potom ako možemo, da li nam se sviđa ideja da imamo VI modele veoma, veoma ekstremnih razmera koje može da stvara i poseduje svega nekolicina?
KA: Mislim, kada bi iz OpenAI rekli: „Zainteresovani smo za tvoj rad, voleli bismo da nam pomogneš da unapredimo naše modele”, vidiš li neki način kombinovanja onoga što radiš sa onim što su oni sagradili?
JČ: Zasigurno, ono što zamišljam će morati da se nadogradi na unapređenja dubokih neuronskih mreža. I možda se ispostavi da postoji zona Zlatokose u razmerama takva da... Ni ne zamišljam da je manje bolje, usput. Verovatno da postoji tačna veličina razmera, ali preko toga, pobednička formula bi mogla da bude nešto drugo. Dakle, nekakva sinteza ideja će da bude ključna ovde.
KA: Jeđin Čoj, mnogo ti hvala na tvom govoru.
Comments