Da li testiramo veštačku inteligenciju na pogrešan način?

Kako zaista merimo „inteligenciju“ kod sistema veštačke inteligencije (AI)? Iako najnoviji AI modeli postižu izvanredne rezultate na standardizovanim testovima, poput pravosudnog ispita, to ne znači nužno da će biti efikasni u rešavanju problema u stvarnom svetu. Melanie Mitchell, profesorka na institutu Santa Fe i jedan od vodećih stručnjaka u ovoj oblasti, tvrdi da su nam potrebni fundamentalno bolji načini za testiranje veštačke inteligencije. Ovaj članak istražuje njenu ideju o primeni rigoroznih metoda iz razvojne i komparativne psihologije za dublju i precizniju procenu kognitivnih sposobnosti mašina.

1. Problem sa trenutnim pristupom: iluzija benčmarka

Melanie Mitchell smatra da trenutni način evaluacije AI sistema, koji se oslanja na takozvane benčmark testove, nije adekvatan. Prema njenom mišljenju, ovaj pristup stvara iluziju sposobnosti koja se ne prenosi u realne uslove. Ključni problemi su:

• Performanse na benčmark testovima se ne prenose u stvarni svet: Kao što Mitchell ističe, polaganje pravosudnog ispita ne čini AI sistem dobrim advokatom. Uspeh na testu meri specifičnu veštinu, ali ne i sposobnost primene znanja u kompleksnim, nepredvidivim situacijama.
• Slaba generalizacija: Mašine su često izvanredne u rešavanju specifičnih problema za koje su trenirane, ali ne uspevaju da generalizuju to znanje na nove, neviđene zadatke.
• Pogrešne pretpostavke: Testovi dizajnirani za ljude zasnivaju se na pretpostavkama koje ne važe za AI. Na primer, pretpostavke o načinu na koji sistem memoriše ili pristupa informacijama potpuno su drugačije za mašinu nego za čoveka.
• Nedostatak obuke: Većina istraživača u oblasti veštačke inteligencije dolazi iz računarskih nauka i, kako Mitchell navodi, nije prošla formalnu obuku iz eksperimentalne metodologije koja je standard u disciplinama poput psihologije.

2. Nova perspektiva: tretiranje AI kao „vanzemaljske inteligencije“

Da bismo prevazišli ova ograničenja, Mitchell predlaže da AI sisteme tretiramo kao „vanzemaljsku inteligenciju“. Ovaj koncept, koji Mičel pozajmljuje od pionira neuronskih mreža Terensa Sejnovskog i razvojnog psihologa Majkla Frenka, ne odnosi se na bića iz svemira, već se koristi za opisivanje umova sa kojima ne možemo direktno komunicirati rečima – poput beba i životinja.

Baš kao što psiholozi razvijaju kreativne i rigorozne metode za proučavanje kognicije kod beba i životinja, tako i istraživači veštačke inteligencije mogu usvojiti slične principe. Umesto fokusiranja na neodređeni pojam „inteligencije“, Mitchell predlaže da se usmerimo na merenje specifičnih „kognitivnih sposobnosti“, što omogućava precizniju i naučno utemeljeniju procenu.

3. Dve ključne lekcije iz psihologije

Srž argumenta Melanie Mitchell leži u primeni konkretnih naučnih principa iz psihologije, koje ilustruje kroz dva klasična primera.

3.1 Priča o Pametnom Hansu: važnost kontrolisanih eksperimenata

Početkom 20. veka, konj po imenu Pametni Hans postao je svetska senzacija jer je navodno znao matematiku. Na postavljena pitanja, Hans je odgovarao tapkanjem kopita. Godinama su mnogi verovali da je konj zaista inteligentan.

Međutim, psiholog Oskar Pfungst je pristupio problemu sa naučnim skepticizmom. Kroz seriju pažljivo dizajniranih kontrolisanih eksperimenata, otkrio je istinu. Prvo je stavio povez preko očiju konja, a zatim i paravan između konja i ispitivača. U tim uslovima, Hans više nije mogao da daje tačne odgovore. Zaključak je bio jasan: konj nije razumeo matematiku, već je reagovao na suptilne, nesvesne promene u izrazu lica ispitivača, koje su mu signalizirale kada da prestane sa tapkanjem.

Pouka za AI je direktna: neophodno je biti skeptičan prema sopstvenim hipotezama i dizajnirati pažljive kontrolisane eksperimente kako bi se isključila alternativna objašnjenja za uspeh sistema.

3.2 Eksperiment sa bebama: potraga za skrivenim varijablama

U jednom poznatom eksperimentu, istraživači su tvrdili da bebe stare od 6 do 10 meseci imaju urođeni osećaj za moral. Bebama su prikazivani crtani filmovi u kojima jedan lik pokušava da se popne uz brdo. U jednoj verziji, „pomagač“ mu pomaže da stigne do vrha, dok ga u drugoj „ometač“ gura nazad. Procena je vršena tako što se posmatralo za kojom igračkom, koja je predstavljala „pomagača“ ili „ometača“, će bebe posegnuti. U velikoj većini, bebe su birale „pomagača“.

Međutim, druga istraživačka grupa je pažljivo analizirala video-snimke i otkrila skrivenu varijablu: lik kojem se pomagalo je, stigavši na vrh brda, skakutao od sreće. Istraživači su postavili novu hipotezu: možda bebe ne privlači moralni čin, već veselo skakutanje. Dizajnirali su novi eksperiment u kojem je lik kojeg „ometač“ gura na dno brda takođe skakutao. Rezultati su se potpuno preokrenuli – bebe su sada birale lika koji je skakutao, bez obzira na to da li je bio „ometač“ ili ne.

Ovaj primer naglašava koliko je ključno aktivno tražiti alternativna objašnjenja i faktore koji mogu uticati na rezultate, umesto prihvatanja prve, najočiglednije hipoteze.

4. Šta nedostaje naučnom duhu u oblasti veštačke inteligencije?

Mitchell proširuje svoju kritiku na opštije principe naučnog metoda koji, po njenom mišljenju, često nedostaju u AI zajednici.

• Replikacija i skepticizam: „Naš posao je da budemo skeptici, i to bi trebalo da bude kompliment“, kaže Mitchell. Ona primećuje da se u AI zajednici skepticizam često posmatra kao negativna osobina ili prepreka napretku, dok je u tradicionalnoj nauci on osnova za proveru i potvrđivanje znanja.
• Problem sa „novitetom“: U AI istraživanjima previše se ceni „novitet“. Radovi koji imaju za cilj da repliciraju tuđe rezultate ili da ih postepeno nadograde često bivaju odbačeni od strane recenzenata kao „nedovoljno inovativni“. Mitchell naglašava da je upravo takav inkrementalni, proveravajući rad temelj svake zrele naučne discipline.

Zaključak: put ka istinskom razumevanju

Ključni argument Melanie Mitchell je jasan: da bi oblast veštačke inteligencije ostvarila stvarni napredak u razumevanju mašinske kognicije, neophodno je da usvoji rigorozniji, sistematičniji i skeptičniji naučni pristup. Metode pozajmljene iz razvojne i komparativne psihologije nude proveren okvir za postavljanje pravih pitanja i dizajniranje eksperimenata koji mogu otkriti šta AI sistemi zaista mogu, a šta ne.

Njen skepticizam se proteže i na sam pojam AGI (opšta veštačka inteligencija), za koji tvrdi da je koncept „prilično maglovit“ i teško merljiv. Ona dovodi u pitanje i savremenu tendenciju da se AGI posmatra isključivo kroz „kognitivnu“ stranu inteligencije, ignorišući fizičku interakciju sa svetom. Kako Mičel ističe, ona ne misli da je „kognitivna strana inteligencije zaista odvojiva“ od fizičkog otelotvorenja, što trenutnu trku za AGI čini još problematičnijom. Umesto jurnjave za loše definisanim ciljem, put ka istinskom razumevanju vodi kroz strpljivu i pedantnu naučnu metodologiju.

Izvor: spectrum.ieee.org