← Visi raksti

2026. gada 29. jūlijs3 min lasīšanas

Arī pamatots AI var kļūdīties, un to atzīt ir produkta īpašība

„Pamatots" jāapraksta, kā atbilde ir balstīta, nevis jāsola nulle halucināciju. Uzticama sistēma padara atlikušo nenoteiktību redzamu.

Ja AI produkts saka, ka ir pamatots, ko jums no tā gaidīt?

Saprātīgi būtu gaidīt, ka tas izmantos zināmu informāciju, nevis izdomās atbildi. Varētu gaidīt avotu. Varētu gaidīt, ka tas pateiks „es nezinu", ja pierādījumu trūkst.

Tās ir labas gaidas.

Nevajadzētu gaidīt, ka „pamatots" nozīmē „nekļūdīgs".

AI var atrast nepareizu avotu, pārprast pareizu avotu, nepareizi apvienot divus faktus vai pārnest novecojušu atmiņu uz jaunu situāciju. Pamatošana var samazināt nepamatotu atbilžu skaitu un padarīt tās vieglāk pārbaudāmas. Tā nevar pārvērst varbūtisku sistēmu par patiesības garantiju.

Ko pamatošana cenšas mainīt

Nepamatota atbilde var balstīties galvenokārt uz modeļa apmācībā apgūtiem rakstiem un pašreizējās uzvednes vārdiem. Modelis var uzrakstīt plūstošu atbildi arī tad, ja tam trūkst vajadzīgā fakta.

Pamatota sistēma pievieno atbalstu. Tas var nākt no:

  • lietotāja iedota dokumenta;
  • lokālas zināšanu krātuves;
  • saglabātas personīgās atmiņas;
  • datubāzes vai rīka rezultāta;
  • aktuālas meklēšanas vai ārēja avota;
  • strukturētām sakarībām sistēmas zināšanu attēlojumā.

Tad atbildi var sasaistīt ar šo atbalstu, nevis pasniegt kā nekur nepiesaistītu pārliecību.

Pieci veidi, kā pamatota atbilde var kļūdīties

1. Pareizais avots netika atrasts

Informācija pastāv, bet meklēšanas vai izguves solis izvēlējās ko citu. Modelis atbild no nepilnīga konteksta.

2. Pats avots ir nepareizs vai novecojis

Atbilde, kas balstīta pagājušā gada noteikumos, ir izsekojama un tomēr šodien nepareiza.

3. Modelis avotu izlasa nepareizi

Fragmentā var būt izņēmums, nosacījums vai mērvienība, ko modelis palaiž garām. Atsauce ir, bet tā neapstiprina izteikto apgalvojumu.

4. Divas konteksta daļas ir pretrunā

Saglabātā atmiņa saka vienu, jaunāks dokuments saka ko citu. Ja datumi un autoritāte nav redzami, sistēma var izvēlēties nepareizo.

5. Kļūdains ir spriešanas solis

No pareiziem faktiem joprojām var nonākt pie slikta secinājuma. Pamatošana uzlabo spriešanas ievaddatus; spriešanu tā negarantē.

Šo kļūmju dēļ „nulle halucināciju" nav atbildīgs produkta solījums.

Pārliecībai jābūt redzamai formai

Personīgajam AI nevajadzētu katru teikumu pasniegt ar vienādu pārliecības toni.

Noderīgi stāvokļi varētu būt:

Pamatots — tieši balstīts nosauktā avotā vai apstiprinātā atmiņā.

Secināts — slēdziens no pieejamā konteksta, avotā tieši nepateikts.

Pretrunīgs — divi avoti vai atmiņas nesaskan.

Nepilnīgs — trūkst daļas vajadzīgās informācijas.

Nezināms — sistēma nevar pamatot atbildi.

Šīs birkas nav matemātisks pierādījums. Tās ir saskarnes līgums: sistēma pasaka lietotājam, kāda veida atbildi viņš redz.

Atbildei „es nezinu" jāved tālāk

Godīgs atteikums ir labāks par izdomātu faktu, bet noderīgai sistēmai jāpalīdz lietotājam arī turpināt.

Tā var palūgt trūkstošo dokumentu. Tā var norādīt precīzu pretrunu. Tā var parādīt, kuru avotu vajag atjaunināt. Tā var ieteikt drošu meklēšanu vai pateikt, kura daļa prasa speciālista pārbaudi.

Mērķis nav atteikt pēc iespējas biežāk. Mērķis ir padarīt robežu tādu, ar ko var kaut ko darīt.

Personīgā atmiņa padara pamatošanu vērtīgāku un jutīgāku

Personīgajā AI saglabātā atmiņa var pamatot atbildi lietotāja paša vēsturē. Tas ir spēcīgi. Tas arī nozīmē, ka atmiņas kvalitāte tieši ietekmē atbildes kvalitāti.

Ja saglabātais projekta datums ir nepareizs, pamatota atbilde var pārliecinoši atkārtot kļūdu. Ja privāta piezīme tiek atrasta nepareizā kontekstā, atbilde var būt nevietā arī tad, ja tā faktiski ir pamatota.

Tāpēc atmiņai vajag izcelsmi, tvērumu un labošanu. Lietotājam jāredz, no kurienes atcerētais fakts nāk, kuram projektam tas pieder un kā to noņemt.

Būtiskiem lēmumiem joprojām vajag pārbaudi

Pamatots personīgais AI var palīdzēt sakārtot informāciju, turpināt projektu un padarīt nezināmo redzamu. Tam nevajadzētu kļūt par galīgo autoritāti medicīnas, juridiskos, finanšu, nodarbinātības vai drošībai kritiskos lēmumos.

Būtiskiem lēmumiem saskarnei jāsaglabā avots, jāparāda nenoteiktība un, kur vajag, jānovirza cilvēks pie kvalificēta speciālista.

Tā nav atruna, kas piekabināta pēc vērienīga solījuma. Tā ir daļa no produkta uzvedības.

Ko tas nozīmē Enia uz ierīces

Enia uz ierīces tiek veidota ap strukturētu zināšanu skatu un spēju pateikt, kad atbalsta trūkst vai tas ir pretrunīgs. Pašreizējais strādājošais prototips pārbauda šo virzienu.

Mums nevajadzētu to saukt par „0 halucināciju" vai solīt, ka katra atbilde ir pamatota. Tā vietā mums jāparāda:

  • kāda informācija atbildi pamato;
  • vai atbilde ir atrasta vai secināta;
  • kad konteksts ir pretrunīgs;
  • kad sistēma nezina;
  • kā lietotājs var izlabot pamatā esošo atmiņu.

Pamatošana ir vērtīga, jo tā rada labākas attiecības ar pierādījumiem. Atlikušo kļūdas iespēju nevajag slēpt. Produktam jāpalīdz lietotājam to redzēt.

Iepazīt Enia uz ierīces pamatošanas un atmiņas iespējas

PamatošanaUzticamība