Modele AI i studenci rozwiązywali te same testy. Wyniki mogą niepokoić

W badaniach prowadzonych przez uczonych z Oregon Health & Science University testowano sześć modeli sztucznej inteligencji, tzw. large language models. W szranki ze sztuczną inteligencją stanęli studenci biorący udział w internetowym kursie wprowadzającym z zakresu informatyki biomedycznej i zdrowotnej. Modele AI uzyskały wyniki lepsze niż trzy czwarte studentów.

AI kontra studenci: 1:0 dla AI

Naukowcy stestowali popularny ChatGPT i inne modele AI. W badaniu brała udział sztuczna inteligencja i... „żywa inteligencja” studentów. Wyniki badań rodzą więcej pytań niż odpowiedzi dotyczących przyszłości nauki i medycyny, ponieważ modele AI okazały się lepsze od większości studentów.

Sztuczna inteligencja wzięła udział w kursie i zdała lepiej od ludzi

Dr William Hersh z Oregon Health & Science University (OHSU) postanowił zweryfikować realne możliwości sztucznej inteligencji. W eksperymencie testował sześć generatywnych modeli językowych AI, takich jak ChatGPT.

Sztuczna inteligencja „wzięła” udział w internetowej wersji swojego popularnego kursu wprowadzającego z zakresu informatyki biomedycznej i zdrowotnej. Wyniki badań opublikowanych na łamach Digital Medicine mogą zaskakiwać, ponieważ według nich AI radzi sobie lepiej niż 3/4 studentów. Jak zauważył autor badania, dr Hersh:

"To może budzić obawy związane z oszustwami, ale problem jest większy. Skąd mamy wiedzieć, że nasi studenci faktycznie uczą się i opanowują wiedzę oraz umiejętności, które będą potrzebne w ich przyszłej pracy zawodowej?"

Jako profesor informatyki medycznej i epidemiologii klinicznej w OHSU, dr Hersh przyznał, że jest szczególnie wyczulony na nowe technologie, choć oczywiście docenia środki technologiczne i nowości, które pozwalają na rozwój naukowy.

Jednak przejście do generatywnej AI to diametralna zmiana – dla szeroko rozumianego świata nauki. Podobne pytania, m.in. o samodzielność prac, pojawiają się na wszystkich szczeblach edukacji.

CZYTAJ TEŻ: Czy studenci medycyny będą uczyć młodszych kolegów? Kuriozalny pomysł ministerstwa krytykują lekarze

Sztuczna inteligencja zastąpi naukowców i lekarzy? To nie takie proste

Dr Hersh i współautorka badania, Kate Fultz Hollis, specjalistka ds. informatyki w OHSU, przeanalizowali wyniki 139 studentów i studentek. Te same testy, co studenci, zlecono do rozwiązania modelom językowym AI.

W zależności od modelu, wyniki były na poziomie około 50-75 percentyla. Uczeni zwrócili uwagę, że zajęcia i testy realizowane online są dla sztucznej inteligencji bardziej odpowiednie niż np. interaktywne zajęcia, w których studenci realizują również inne zadania. Dr Hersh zwrócił uwagę, że ta sytuacja to jedna z przesłanek do dyskusji o przyszłości medycyny.

CZYTAJ TEŻ: 95 proc. przyszłych lekarzy nie zdało egzaminu. Nie rozpoznali prostej choroby

"Kiedy byłem studentem medycyny, jeden z moich lekarzy prowadzących powiedział mi, że muszę mieć całą wiedzę w głowie. Nawet w latach 80. było to trudne. Baza wiedzy medycznej dawno przekroczyła możliwości ludzkiego mózgu, by wszystko zapamiętać."

Poza tym jednak, jak powiedział naukowiec, nie obawia się on o samodzielność prac wykonywanych przez studentów na zaliczenie: 

"W każdej dziedzinie naukowej pojawiają się nowe osiągnięcia i modele językowe nie zawsze są na bieżąco z tym wszystkim. To oznacza, że będziemy musieli [jako egzaminatorzy - red.] korzystać z nowszych lub bardziej złożonych testów, na które ChatGPT nie udzieli odpowiedzi."

Poza tym, istnieje cienka granica między rozsądnym wykorzystaniem zasobów technicznych do wspierania nauki a nadmiernym poleganiem na nich, co może hamować naukę, jak zauważył autor badania.

Ostatecznym celem akademickiego centrum zdrowia, takiego jak OHSU, jest kształcenie profesjonalistów w dziedzinie opieki zdrowotnej, zdolnych do opieki nad pacjentami i optymalnego wykorzystania danych i informacji o nich w rzeczywistości. W tym sensie, jak podkreślił dr Hersh, medycyna zawsze będzie wymagać ludzkiego podejścia.

CZYTAJ TEŻ: Progi na medycynę 2024. Jak trzeba było zdać maturę, żeby dostać się na oblegane studia?

Katarzyna Głuszak, redaktorka