Tekoälyä saatetaan käyttää vertaisarvioinnissa ja se tyrmistyttää tutkijaa – "tekoäly hallusinoi"
Nature-lehti kirjoittaa analyysista, jossa tarkasteltiin vertaisarvioita ennen ja jälkeen ChatGPT:n julkaisemisen.
Tieteellisten artikkelien vertaisarvioinnissa käytetään tekoälyä.
Tähän viittasi selvitys, joka julkaistiin arXiv-esijulkaisupalvelussa maaliskuussa. Aiheesta uutisoi Nature-lehti .
Tutkijat tarkastelivat neljään tietojenkäsittelytieteen konferenssiin liittyviä vertaisarviointiraportteja. Mukana oli kaikkiaan 146 000 raporttia. Ilmeni, että tiettyjen positiivisten adjektiivien käyttö kasvoi huomattavasti sen jälkeen, kun ChatGPT julkaistiin marraskuussa 2022. Niitä olivat esimerkiksi englanninkieliset sanat innovative, intricate, notable ja versatile.
Tutkijat selvittivät sadan tällaisen merkkiadjektiivin esiintymistä vertaisarvioissa. Analyysin mukaan jopa 16,9 prosenttia raporteista saattoi olla huomattavassa määrin tekoälyn muokkaamia.
On epäselvää, käyttivätkö vertaisarvioijat tekoälyä raportin luomiseen vaiko vain editointiin.
Nature-lehden haastattelema tutkija Debora Weber-Wulff Hochschule für Technik und Wirtschaft Berlin -korkeakoulusta pitää tulosta tyrmistyttävänä.
– Oletus on, että ihminen tekee arvioinnin. Tekoäly "hallusinoi", emmekä voi tietää, milloin se hallusinoi ja milloin ei, hän sanoo lehdelle.
Hänen mielestään tekoälyä ei pitäisi käyttää lainkaan vertaisarviointiin.
Analyysin mukaan todennäköisimmin merkkiadjektiiveja löytyi vertaisarvioista, jossa artikkelitarjokas arvioitiin heikommaksi, jotka palautettiin lähellä viime hetkellä ja joiden kirjoittajat eivät vastanneet arvioitujen artikkelien kirjoittajien vastineisiin.
