Zgodnie z wynikami opublikowanymi w czasopiśmie „PNAS Nexus”, interakcja z dużymi modelami językowymi, takimi jak ChatGPT, w celu zdobycia wiedzy, prowadzi do jej płytszego zrozumienia w porównaniu z tradycyjnym korzystaniem z linków w wyszukiwarce internetowej. Główną konsekwencją tego zjawiska jest tworzenie treści, które są postrzegane przez innych jako mniej pomocne, mniej pouczające i mniej wiarygodne.
Badanie zależności od chatbotów
Główna hipoteza badawcza zakładała porównanie głębokości wiedzy nabytej za pośrednictwem dużych modeli językowych (LLM) z wiedzą zdobytą poprzez samodzielne eksplorowanie linków w wyszukiwarce internetowej. Aby zweryfikować tę tezę, naukowcy zaprojektowali metodologię, która pozwoliła im zmierzyć nie tylko subiektywne odczucia uczestników, ale także obiektywną jakość efektów ich pracy.
Zaprojektowali serię siedmiu kontrolowanych eksperymentów online, które miały precyzyjnie zmierzyć nie tylko to, co uczestnicy myśleli, że wiedzą, ale jak ta wiedza przekłada się na realne umiejętności. W badaniu wzięły udział tysiące uczestników, którzy byli przydzieleni losowo do jednej z dwóch grup. Pierwsza korzystała z chatbota LLM, podczas gdy druga uczyłam się, analizując tradycyjne linki z Google.
Przed uczestnikami postawiono zadanie zdobycia wiedzy na różnorodne, praktyczne tematy, takie jak zakładanie ogrodu warzywnego, prowadzenie zdrowszego stylu życia czy ochrona przed oszustwami finansowymi. Następnie, w roli ekspertów, mieli za zadanie napisać poradnik na podstawie nowo zdobytych informacji.
Taki schemat eksperymentu pozwolił naukowcom nie tylko obserwować proces uczenia się, ale także ocenić jego praktyczne efekty, co ujawniło znaczące różnice w podejściu i końcowych rezultatach osiąganych przez obie grupy.
Mniej wysiłki, płytsza wiedza
Pierwsze wnioski można było wysnuć już na etapie analizy zachowań uczestników i ich subiektywnych odczuć. Różnice między grupą korzystającą z AI a grupą pracującą z linkami wyszukiwarki okazały się wyraźne i spójne we wszystkich eksperymentach. Obserwacja procesu uczenia się oraz tworzenia treści przez badanych dostarczyła kluczowych danych na temat zaangażowania i samooceny.
Uczestnicy, którzy korzystali z LLM poświęcali zauważalnie mniej czasu na interakcję z dostarczonymi wynikami. Sami też deklarowali, że w rezultacie zdobyli płytszą wiedzę, nawet jeśli prezentowane im fakty były identyczne z tymi w drugiej grupie. Wkładali mniej wysiłku w proces tworzenia porad.
Co kluczowe, te subiektywne odczucia i mniejsze zaangażowanie znalazły bezpośrednie odzwierciedlenie w obiektywnej jakości stworzonych przez nich treści. Porady napisane przez użytkowników LLM były krótsze, zawierały mniej odniesień do faktów i charakteryzowały się mniejszą oryginalnością, wykazując znacznie większe podobieństwo do prac innych uczestników z tej samej grupy. Te obiektywne różnice miały z kolei bezpośrednie przełożenie na to, jak finalne treści zostały odebrane przez niezależnych odbiorców.
Test wiarygodności
Ostateczną miarą wartości zdobytej wiedzy jest jej użyteczność i wiarygodność w oczach innych. Dlatego kluczowym etapem badania było poddanie stworzonych porad ocenie zewnętrznej. Naukowcy zaprosili do współpracy panel 1501 niezależnych sędziów, których zadaniem była ocena jakości tekstów bez wiedzy o tym, w jaki sposób ich autorzy zdobywali informacje. Ten zabieg gwarantował bezstronność i obiektywizm oceny.
Wyniki tego etapu były jednoznaczne, jak podaje serwis PAP.pl. Porady oparte na wiedzy pozyskanej z LLM zostały ocenione znacznie gorzej niż te, które powstały w oparciu o analizę linków z wyszukiwarki. Te wyniki określono jako „mniej pomocne, mniej pouczające, mniej wiarygodne”.
Co więcej, badanie ujawniło istotny wniosek behawioralny: oceniający byli znacznie mniej skłonni do skorzystania z porad napisanych przez osoby, które uczyły się przy pomocy AI. Ten jednoznaczny werdykt oceniających zmusza do głębszej analizy fundamentalnej różnicy między pasywnym odbiorem a aktywnym poszukiwaniem wiedzy.
Modele LLM okazują się zatem potencjalnie mniej skuteczne tam, gdzie celem jest rozwijanie wiedzy proceduralnej – czyli praktycznego, głębokiego zrozumienia, jak faktycznie coś zrobić. Ostatecznie, badanie to nie jest oskarżeniem technologii, lecz przypomnieniem, że narzędzia należy dobierać świadomie do celu: czy szukamy jedynie szybkiej odpowiedzi, czy dążymy do wiedzy, która jest trwała, praktyczna i godna zaufania.
