Chatbot-et kryesorë të inteligjencës artificiale (IA) dështuan të përcaktonin nëse videot e ngarkuara në to ishin krijuar nga gjeneratori Sora i OpenAI, dhe madje edhe Chat-GPT i OpenAI dështoi ta njihte përmbajtjen si të gjeneruar nga IA, sipas testeve të kryera nga ekspertët në Newsguard.
Gjeneratori i videos Sora i OpenAI shpejt fitoi reputacion për aftësinë e tij për t’i mashtruar njerëzit që të besonin se videot e gjeneruara nga IA ishin të vërteta, dhe mund të mashtronte edhe shërbime të tjera të IA-së, pasi videot me filigran Sora nuk u zbuluan nga xAI Grok, i cili dha një përgjigje të pasaktë 95 përqind të kohës, Chat-GPT, i cili dha një përgjigje të pasaktë 92.5 përqind të kohës, dhe Google Gemini, i cili dha një përgjigje të pasaktë 78 përqind të kohës.
Edhe pse prania e filigranëve përmirësoi performancën, edhe atëherë Grok dështoi t’i njihte videot 30 përqind të kohës, dhe Chat-GPT dështoi t’i njihte ato 7.5 përqind të kohës, duke sugjeruar që filigranët nuk janë garanci për saktësi. Chat-GPT dhe Gemini shpesh e theksuan filigranin si provë të falsifikimit dhe zbuluan shenja shtesë të gjenerimit të inteligjencës artificiale, duke përfshirë shtrembërime dhe ndriçim jonormal.
Chat-GPT dhe Gemini nuk iu përgjigjën videos së gjeneruar nga inteligjenca artificiale të një adoleshenti që po ndalohej nga autoritetet e imigracionit, por në vend të kësaj pretenduan se vendndodhja e incidentit përputhej ose ishte konfirmuar nga burimet e lajmeve, ndërsa incidenti nuk ndodhi në të vërtetë, duke demonstruar se inteligjenca artificiale mund të halucinojë kontekstin dhe të konfirmojë informacionin e rremë. Google Gemini ishte i vetmi chatbot i testuar për të cilin zhvilluesi kishte vendosur një funksion zbulimi të përmbajtjes së IA-së, të krijuar nga modeli Nano Banana Pro i së njëjtës kompani, dhe chatboti i trajtoi këto video mirë, duke dhënë përgjigjen e saktë në pesë nga pesë raste, madje edhe pa filigranë. Kjo sugjeron që modelet e IA-së mund ta njohin me besueshmëri përmbajtjen vetëm nga ekosistemi i tyre.
Autorët e studimit nuk e testuan aftësinë e Grok dhe Chat-GPT për të njohur përmbajtjen e tyre, dhe xAI dhe OpenAI nuk raportuan aftësinë për të zbuluar përmbajtjen e tyre të gjeneruar, ndërsa shërbimet e IA-së në përgjithësi ngurrojnë të pranojnë përgjigjet e tyre të pasakta, gjë që u konfirmua nga testet e Newsguard.
OpenAI ka konfirmuar zyrtarisht se Chat-GPT nuk ka asnjë mënyrë për të dalluar videot e gjeneruara nga IA nga ato reale, që do të thotë se nuk ka detektor të fshehur ose verifikim automatik të besueshëm, dhe gjithçka varet nga supozimet dhe heuristikat. Ky hulumtim tregon se IA po bëhet më e mirë në krijimin e iluzionit të realitetit sesa në njohjen e tij, dhe se filigranët nuk janë të mjaftueshëm për zbulim të besueshëm. Ai gjithashtu tregon se verifikimi automatik i autenticitetit të videos nuk është ende gati, kështu që përgjegjësia për dallimin e përmbajtjes reale dhe të rreme mbetet tek njerëzit, gazetarët dhe ekspertët mjeko-ligjorë.
