A ChatGPT nyelvi képességeinek tesztelésére halandzsa szövegeket használtak, ami izgalmas megközelítést jelentett a mesterséges intelligencia teljesítményének felmérésében. Az ilyen jellegű vizsgálatok során a cél nem csupán a nyelvi struktúrák helyessége
Vajon mennyire kreatív a mesterséges intelligencián alapuló nagy nyelvi modell, ha szavak értelmezésére és új szavak alkotására kérik fel?
A Kansasi Egyetem pszicholingvisztika professzora izgalmas kísérletbe kezdett, amely során a ChatGPT mesterséges intelligenciájának képességeit tesztelte. Olyan szavakat használt, amelyek vagy már eltűntek a mindennapi nyelvhasználatból, vagy teljesen kitalált, nonszensz kifejezések voltak. A kutató kíváncsian figyelte, hogyan reagál az MI ezekre a nem létező szóformákra. A kísérlet eredményeit a PLOS One tudományos folyóiratban tette közzé, bemutatva az MI nyelvi feldolgozásának határait és lehetőségeit.
A szakember korábban ugyanilyen módon már vizsgált emberi alanyokat, épp emiatt is vált kíváncsivá a ChatGPT reakcióira. Kiderült, hogy az MI meglehetősen ügyesen fedezi fel az egyes dolgok közti összefüggéseket, kapcsolatokat.
"Az MI különböző mintázatokra figyel fel, de ezek gyakran eltérnek attól, amit mi, emberek, egy hasonló feladatnál észlelünk. A megközelítésünk és a módszereink alapvetően különböznek az intelligens rendszerekétől, és ez teljesen természetes. Ahhoz viszont, hogy az MI valóban segítséget nyújtson számunkra bizonyos területeken, gondosan kell megterveznünk a kapcsolódási pontokat, hogy valóban hatékonyan működhessen, mint egyfajta biztonsági háló." - nyilatkozta Michael Vitevich professzor.
A kutatók egyik érdekes vizsgálatának során régi angol kifejezések kerültek terítékre, melyek mára már eltűntek a mindennapi nyelvhasználatból. Az MI, mint a ChatGPT, számos ilyen elfeledett szót tudott hiteles magyarázattal ellátni. Például említést nyert a "felkopogás" kifejezés, amely az ipari forradalom idején ébresztőszolgálatot jelentett. Ebben az időszakban, amikor még nem álltak rendelkezésre megfizethető és megbízható vekkerórák, egy személy bottal kopogott a megrendelő hálószobájának ablakán, hogy felkeltse őt a kívánt időpontban. Ez a módszer nemcsak praktikus, hanem egyben a kor sajátos kultúráját is tükrözte.
A ChatGPT 52 különböző típusú kifejezésből 36-hoz tudott releváns magyarázatot adni. 11 esetben jelezte, hogy nem ismeri az adott szót, míg 3 alkalommal más nyelvből kölcsönzött kifejezéssel próbálta megvilágítani a fogalmat. Két esetben azonban gépi hallucinációként az AI egyszerűen kitalált egy hamis válasz, ami jól ismert problémája a mesterséges intelligenciáknak. "Valószínű, hogy csak segíteni akart" - fűzte hozzá a professzor.
A feladat lényege az volt, hogy néhány spanyol nyelvű szóhoz találjunk olyan szavakat, amelyek hangzásban hasonlítanak hozzájuk. Amikor ezt egy embernek adják fel, ő természetesen a saját anyanyelvi tapasztalataira támaszkodik, hogy megtalálja a megfelelő párhuzamokat. Ezzel szemben a ChatGPT más megközelítést alkalmazott, hiszen nem rendelkezik "anyanyelvvel". Így hát, míg az emberi keresés a megszokott nyelvi keretek között zajlik, a ChatGPT különféle nyelvek között válogatott, figyelmen kívül hagyva az anyanyelvi kontextust.
Ahelyett, hogy az emberekhez hasonlóan, az MI a statisztikai összefüggésekre támaszkodva keresi meg a válaszokat az általa ismert nyelvek között. Ha a kutató azt is jelezte, hogy angol nyelvű, hasonló hangzású szavakat szeretne, a ChatGPT rendkívül találó választásokkal rukkolt elő.
A tesztek harmadik szakaszában olyan halandzsa szavakat mutattak be a mesterséges intelligenciának, amelyek bizonyos aspektusokban az angol nyelv szókincséhez hasonlítottak. A feladat az volt, hogy ezeket a szavakat egy 1-től 7-ig terjedő skálán értékelje, azaz megítélje, mennyire tűnhetnek elfogadható angol szavaknak. Ezt követően ugyanazokat a szavakat valós emberekkel is értékeltették, hasonló eljárás alapján, majd az eredményeket összevetették a gépi és az emberi értékelések között.
A legutolsó kihívás az MI számára az volt, hogy saját maga alkosson új angol szavakat olyan ismert jelenségek leírására, amelyekre még nem létezik hivatalos angol kifejezés. Ez a nyelvi játék egy tévés komikus kreatív ötletei nyomán született az 1980-as években, és célja az volt, hogy szórakoztató módon bővítse a szókincset.
A komikus egy különös jelenséget emelt ki, amelyet humorosan "nevesített". Képzeljük el, hogy valaki megpróbálja felporszívózni a szőnyegre ragadt szálat, de hiába feszül neki, a szál makacsul ellenáll. Az így született angol kifejezés "carperpetuation" lett, amit magyarul akár "szőnyegcsapdának" is hívhatnánk. Ez a szórakoztató szójáték remekül tükrözi az ilyen helyzetek abszurditását.
Az MI rendkívül kreatív válaszokat produkált a feladatra, gyakran két meglévő kifejezés ötvözésével hozott létre újdonságokat, valamint a nyelvi képzők ügyes alkalmazásával alakított ki új jelentéseket egyes szavak számára. Íme néhány példa:
Ezek a kitalált kifejezések pontosan úgy születnek, ahogyan a valós, élő nyelvben is új szavak formálódnak. Mindannyian találkozunk ilyenekkel a mindennapi életünkben. Gondoljunk csak a "bénázik", "rizsál", "nethuszár" vagy "kajakóma" szavakra. A kisgyermekes szülők különösen jól ismerik ezt a jelenséget, hiszen a gyerekek gyakran alkotnak új szavakat olyan dolgokra, amelyekre még nem létezik megfelelő kifejezés. Így tehát a ChatGPT is emberi logikával közelítette meg a feladatot, amikor új szavakat kreált a kérdésre adott válaszként.
A kutató ezekkel a kísérletekkel nemcsak azt akarta megérteni, hogy az MI képes-e kreatív nyelvhasználatra, hanem azt is, hogy mikor és miben lehet valódi segítség az ember számára a nyelvi kreativitásban - és mikor csak egy utánzó eszköz. Nem az a kérdés tehát, hogy tud-e új szavakat kitalálni a ChatGPT, merthogy tud. A fő kérdés az, hogy ezt olyan kulturális, fonetikai vagy épp asszociációs háttérrel teszi-e, ahogy mi emberek is. A kísérletek alapján ez egyes esetekben sikerül, ám a legtöbbször mintakövető.
