Amikor az MI elveszíti a beszélgetés fonalát

Néhány éve írtam egy történetet Csibész kutya nevében. Csibész már régebben volt fiatal, és a maga kutyás módján mesélte el, hogyan vásároltak a Gazdák új kanapét. A történetben szerepelt két sötétlelkű macska, rengeteg elmaradt vakarás, egy bizonytalan szállítási határidő, két színváltós bögre és egy olló is.

A szöveget megmutattam egy mesterséges intelligenciának, és megkérdeztem:

Erről a szövegről mi a véleményed?

Az MI válaszolt. Felismerte, hogy a történetet egy kutya meséli el, szórakoztatónak találta az ötletet, majd megjegyezte, hogy a szövegben nyelvtani hibák és elírások vannak.

Eddig nem is történt semmi különös. Ezért megkérdeztem:

Az elírásokat ki tudod javítani?

Az MI készségesen közölte, hogy természetesen szívesen segít, csak adjam meg a szöveget és az elírások pontos helyét.

Pedig a szöveg ott volt közvetlenül előtte. Ráadásul éppen az előző válaszában értékelte.

Megpróbáltam még egyszer:

Kérlek, javítsd ki a szöveget.

Erre ismét azt kérte, mondjam meg, melyik szöveget kell kijavítani, és milyen hibákat keressen benne.

Ekkor újra bemásoltam az egészet. Az MI most már nem kérdezősködött tovább. Nekilátott a munkának – csak éppen nem annak, amit kértem. A magyar szöveget lefordította angolra, közben jelentősen lerövidítette, néhány részletét megváltoztatta, majd Csibész nevében udvariasan elköszönt az olvasóktól.

Az elírások javítása helyett tehát kaptam egy rövidített angol átiratot.

Csak ennyit kérdeztem:

Ezt kérhetem magyarul?

A válasz így szólt:

Igen, természetesen. Miben segíthetek?

Hová tűnt a beszélgetés?

Hétköznapi nyelven azt mondjuk, hogy az MI elvesztette a kontextust. Nem egyszerűen rosszul javított ki egy mondatot, hanem elveszítette annak a fonalát, hogy miről beszélgetünk és mi az aktuális feladat.

Fontos azonban egy kis pontosság. A beszélgetésből nem állapítható meg biztosan, hogy technikailag megtelt-e az úgynevezett kontextusablak, vagy más működési hiba történt. A látható eredmény viszont egyértelmű: az MI előtt ott volt a szöveg, mégsem használta megfelelően, majd a világos kérésből más feladatot csinált.

Az MI ugyanis nem úgy követi a beszélgetést, mint egy ember. Nincs a fejében tartós emléke arról, hogy néhány perccel korábban mit olvasott és mit ígért. A válasz elkészítésekor a rendelkezésére bocsátott szövegrészekből próbálja kikövetkeztetni, hogy éppen mi a dolga.

Hosszabb beszélgetésben egyes korábbi részek kimaradhatnak, rövidített formában kerülhetnek elé, vagy kisebb súlyt kaphatnak az újabb üzenetek mellett. Olykor pedig minden szükséges előzmény látszólag rendelkezésre áll, a modell mégis rosszul kapcsolja össze őket. A társalgás folyamatosnak tűnik, de a háttérben minden válasz egy új értelmezési feladat.

Ezért különösen megtévesztő, hogy az MI ilyenkor is magabiztosan és nyelvtanilag helyesen fogalmaz. Nem mondja feltétlenül, hogy elvesztette a fonalat. Egyszerűen válaszol valamire – csak nem arra, amit kérdeztünk.

Miből vehetjük észre?

A kontextus elvesztésének több jellegzetes tünete lehet:

• visszakéri azt a szöveget vagy adatot, amelyet már megkapott;
• elfelejti, milyen szerepet, hangnemet vagy célt határoztunk meg;
• javítás helyett összefoglal, fordít vagy teljesen új szöveget ír;
• ellentmond egy korábban elfogadott feltételnek;
• úgy válaszol, mintha most kezdődne a beszélgetés;
• udvarias és értelmes mondatokat ír, amelyek mégsem viszik tovább a közös munkát.

A Csibészről szóló beszélgetésben szinte mindegyik megjelent. Az MI először értékelte a szöveget, utána már nem tudta, melyik szöveget kellene javítania. Amikor ismét megkapta, a javítást összekeverte a fordítással és az átdolgozással. Végül arra a kérdésre, hogy kérhetem-e magyarul, lényegében új beszélgetést kezdett.

Mit tehetünk ilyenkor?

Az első és legfontosabb: ne próbáljuk ugyanazt a rövid utasítást újra és újra megismételni. Ha az MI már elvesztette a feladat fonalát, a „Kérlek, csináld meg” mondatból nem fogja megtudni, mit kellene megcsinálnia.

Érdemes egy rövid helyreállító üzenetet írni, amelyben újra megadjuk a szükséges kapaszkodókat:

Az előző üzenetemben bemásoltam egy Csibész kutya szemszögéből írt magyar történetet. Ne fordítsd le és ne rövidítsd le. Csak a helyesírási, központozási és egyértelmű nyelvtani hibákat javítsd ki. A kutya hangját, a humort és a történet minden részletét őrizd meg. A teljes javított magyar szöveget add vissza.

Ebben benne van:

• melyik szövegről beszélünk;
• mi a kívánt művelet;
• mihez nem szabad hozzányúlni;
• milyen nyelven kérjük az eredményt;
• milyen formában várjuk a választ.

Ha a beszélgetés már nagyon hosszú vagy többször félresiklott, gyakran jobb új beszélgetést kezdeni. Ilyenkor nem kell az egész előzményt átmásolni. Elég a feldolgozandó anyag, a szükséges háttér és egy pontos feladatleírás. A régi beszélgetés folytatása csak akkor előny, ha az MI valóban használni tudja a benne felhalmozott előzményeket.

Hosszabb közös munkánál az is hasznos, ha időnként összefoglaljuk az addigi megállapodást:

Eddig abban állapodtunk meg, hogy csak nyelvileg javítjuk a történetet. A cselekményhez, a szereplőkhöz és Csibész hangjához nem nyúlunk. Most a következő fejezetet ellenőrizd ugyanezekkel a szabályokkal.

Ez nem felesleges ismétlés. Inkább olyan, mint amikor egy hosszú műszaki munka során elővesszük a rajzot, és ellenőrizzük, hogy még mindig ugyanazt építjük-e.

Nem mindig a kérdés rossz

Amikor egy MI félreérti a feladatot, könnyű rögtön arra gondolni, hogy rosszul kérdeztünk. Valóban sokat számít a pontos megfogalmazás, de nem minden félresiklás a felhasználó hibája.

Ebben az esetben az „Az elírásokat ki tudod javítani?” teljesen érthető kérdés volt. Az MI éppen előtte állította, hogy elírásokat talált a szövegben. Emberi beszélgetésben természetes, hogy a kérdés ezekre és erre a szövegre vonatkozik.

A második kérés – „Kérlek, javítsd ki a szöveget” – szintén egyértelmű volt az előzmények ismeretében. Az ismételt bemásolás után pedig már maga a szöveg is ott állt az utasítás mellett. A fordítás és rövidítés nem a kérés pontatlanságának szükségszerű következménye volt, hanem az MI hibás feladatértelmezése.

A jó együttműködéshez ezért két dolog kell. A felhasználó igyekezzen világosan megfogalmazni, mit szeretne, az MI válaszát pedig mindig ellenőrizze: valóban azt csinálta-e, amit kértünk? A szép megfogalmazás önmagában még nem bizonyítja, hogy a válasz helyes vagy használható.

Csibész tanulsága

A történet végén Csibész abban reménykedett, hogy az ő életében már nem vesznek több kanapét. A Gazda zárójelben megjegyezte, hogy reméli, az övében sem.

Az MI-vel folytatott beszélgetésekre ezt nem érdemes alkalmazni. Ha elveszíti a fonalat, nem kell végleg lemondani róla, és általában az egész munkát sem kell elölről kezdeni. Meg kell állítani, vissza kell adni neki a legfontosabb előzményeket, majd egyértelműen meg kell mondani, honnan és milyen szabályok szerint folytassa.

És ha ezek után a magyar helyesírás javítása helyett ismét angolul kezd mesélni a kanapéról, akkor valóban egyszerűbb új beszélgetést nyitni.