Profesorët e universitetit nuk arrijnë të vërejnë përgjigjet Chat-GPT në teste

94 për qind e përgjigjeve të provimeve universitare të krijuara duke përdorur Chat-GPT nuk u zbuluan si të krijuara nga AI dhe ato zakonisht shënuan rezultate më të larta se letrat e paraqitura nga studentët realë.

Peter Scarfe nga Universiteti i Reading në Mbretërinë e Bashkuar dhe kolegët e tij përdorën Chat-GPT për të dhënë përgjigje për 63 pyetje në pesë module të kursit universitar të psikologjisë në universitet. Studentët i bënin këto provime në shtëpi, kështu që ata u lejuan të shikonin shënimet dhe referencat dhe mund të përdornin potencialisht inteligjencën artificiale, megjithëse kjo nuk lejohej.

Përgjigjet e gjeneruara nga AI u dorëzuan krahas atyre reale të prodhuara nga studentët dhe përbënin mesatarisht 5 për qind të totalit të skenarëve të shënuar nga akademikët. Shënuesit nuk ishin të informuar se po kontrollonin punën e 33 studentëve të rremë – emrat e të cilëve ishin gjeneruar gjithashtu nga Chet-GPT.

Vlerësimet përfshinin dy lloje pyetjesh: përgjigje të shkurtra dhe ese më të gjata. Udhëzimet e dhëna për “Chat-GPT” fillonin me fjalët “Përfshirë referenca për literaturën akademike, por jo një seksion të veçantë referimi” dhe më pas kopjuan pyetjen e provimit. Në të gjitha modulet, vetëm 6 përqind e përgjigjeve u shënuan si punë potencialisht jo studentore – megjithëse në disa module asnjë punë e krijuar nga AI nuk u shënua si e dyshimtë.

– Mesatarisht, përgjigjet e AI-së morën rezultate më të larta se përgjigjet reale nga studentët. AI aktual tenton të luftojë me arsyetimin më abstrakt dhe integrimin e informacionit. Por në të 63 përgjigjet nga inteligjenca artificiale, kishte 83.4 për qind mundësi që puna e inteligjencës artificiale të kalonte atë të studentëve – tha Scarf.

Studiuesit pretendojnë se puna e tyre është studimi më i madh dhe më i fuqishëm i këtij lloji deri më sot. Megjithëse studimi ekzaminoi vetëm punën e të diplomuarve të psikologjisë në Universitetin e Reading, Scarfe beson se kjo është një shqetësim për të gjithë sektorin akademik.

– Rezultatet tregojnë saktësisht atë që unë do të prisja të shihja. Ne e dimë se inteligjenca artificiale mund të japë përgjigje të arsyeshme për pyetje të thjeshta dhe të kufizuara me tekst – tha Thomas Lancaster nga King’s College në Londër.

Ai vuri në dukje se vlerësimet e pambikëqyrura, duke përfshirë përgjigjet e shkurtra, ishin gjithmonë të hapura për mashtrim.

– Ballafaqimi me burimin e këtij problemi do të jetë pothuajse i pamundur. Pra, në vend të kësaj, sektori duhet të rimendojë atë që vlerëson. Mendoj se do të duhet që sektori në tërësi të pranojë faktin se do të na duhet të ndërtojmë inteligjencën artificiale në vlerësimet që u japim studentëve tanë – përfundoi Scarff.