Pokalbių robotas išgalvoja atsakymus, nes neturi iš ko atsakyti

Klientas klausia Jūsų pokalbių roboto apie grąžinimo terminą. Šis atsako mandagiai ir tiksliai: 60 dienų, be jokių klausimų. Jūsų taisyklėse parašyta 14 dienų. Klientas padaro atsakymo ekrano nuotrauką, ir dabar Jūs arba taikote taisyklę, kurios niekada neturėjote, arba ginčijatės su žmogumi, kurį suklaidino Jūsų pačių svetainė.

Tai dažniausia pokalbių robotų problema, dėl kurios į mus kreipiamasi. Ir dažniausiai ją galima išspręsti nekuriant visko iš naujo.

Kodėl pokalbių robotas pradeda išgalvoti

Kalbos modelis nieko neieško. Jis tęsia tekstą. Paklauskite jo apie Jūsų grąžinimo taisykles, ir jis pateiks labiausiai tikėtinai skambančias taisykles pagal viską, ką yra skaitęs, o internete 30 ir 60 dienų terminai yra įprasti. Tikėtinas atsakymas ir teisingas atsakymas sutampa pakankamai dažnai, kad tai būtų pavojinga.

Pats jis nepasakys „nežinau“, nes neturi būdo sužinoti, kad nežino. Užtikrintas tonas yra tik jo rašymo stilius. Į instrukciją (prompt) įrašytas „neišgalvok“ beveik nieko nepakeičia, ir esame perėmę ne vieną robotą, kuriame ši eilutė buvo visas bandymas problemą išspręsti. Padeda tik pakeitimai to, ką modelis mato ir ką jam leidžiama sakyti.

Atsakymai iš Jūsų dokumentų

Standartinis sprendimas yra paieška, dažniausiai vadinama RAG. Prieš modeliui atsakant, sistema ieško Jūsų dokumentuose, įdeda tinkamas ištraukas į instrukciją ir nurodo modeliui atsakyti tik iš jų. Dauguma sugedusių pokalbių robotų, kuriuos matome, arba visai neturi paieškos, arba turi paiešką, kuri buvo nustatyta vieną kartą ir pamiršta.

Bėdų dažniausiai kyla būtent dėl to. Vienas mūsų vertintas klientų aptarnavimo robotas cituodavo 2024 m. kainoraštį. Paieškos indeksas buvo sukurtas paleidžiant robotą ir niekada neatnaujintas pasikeitus produkto puslapiui, todėl robotas uoliai cituodavo dokumentą, kurio niekur nebebuvo, išskyrus jo paties indeksą. Paieška veikė puikiai. Ji tiesiog rasdavo ne tų metų dokumentą.

Kad atsakymai iš dokumentų veiktų gerai, reikia kelių dalykų:

• Skaidymas pagal dokumento struktūrą. Prieš indeksavimą Jūsų dokumentai suskaidomi į dalis. Jei skaidymo įrankis perkerta kainų lentelę per pusę, paieška grąžina pusę lentelės, o likusią dalį modelis prisigalvoja. Viena taisyklė, vienas DUK atsakymas ar vienas produkto aprašymas vienoje dalyje, kartu su antrašte, kad dalis būtų suprantama ir atskirai.
• Indekso atnaujinimo grafikas. Kaskart pasikeitus šaltinio dokumentui, indeksą reikia atnaujinti, arba automatiškai paskelbus pakeitimą, arba fiksuotu periodiškumu su paskirtu atsakingu žmogumi, ir būtent tai turėtų apimti priežiūros sutartis. Prisiminkite aukščiau minėtą 2024 m. kainoraštį.
• Šaltinio nuoroda prie kiekvieno atsakymo. Kai robotas klysta, pažiūrite į rastas ištraukas ir iškart matote, ar paieška rado ne tą dokumentą, ar modelis nepaisė tinkamo. Tai skirtingos klaidos su skirtingais sprendimais, ir be šaltinių nuorodų tik spėliojate, kurią turite.
• Atsisakymo kelias. Kai paieška neranda nieko tinkamo, teisingas atsakymas yra perdavimas: „Šios informacijos neturiu, štai kaip susisiekti su žmogumi.“ Robotas, kuris į daugumą klausimų atsako teisingai, o likusius perduoda, yra geras produktas. Robotas, kuris atsako į viską, iš dalies išgalvodamas, yra teisinė rizika su pokalbių langu.

Niekada neleiskite modeliui rašyti kainos

Net ir su gera paieška kai kurie atsakymai neturėtų būti generuojami visai. Kainos, grąžinimo sąlygos, teisiniai įsipareigojimai, prekių likučiai. Tokiems atvejams modelis turėtų pasirinkti šabloną, o sistema jį užpildyti. Modelis klasifikuoja klausimą („kaina, produktas X“), parenkamas fiksuotas žmogaus patvirtintas atsakymas, o skaičiai paimami iš Jūsų duomenų bazės ar prižiūrimos lentelės. Modelis pasirenka šabloną. Skaičių jis niekada nerašo.

Tai vienintelė garantija, kurios negali duoti jokia instrukcija: robotas iš principo negali išgalvoti kainos, nes kaina niekada nepereina per generavimo žingsnį.

Testų rinkinys: 30-50 tikrų klientų klausimų

Būtent šis žingsnis skiria robotus, kurie lieka sutaisyti, nuo tų, kurie kitą ketvirtį vėl sugenda, ir beveik visi jį praleidžia. Surinkite 30-50 klausimų, kuriuos Jūsų klientai yra uždavę, iš pokalbių žurnalų, klientų aptarnavimo užklausų ar savo komandos atminties, ir kiekvienam parašykite teisingą atsakymą. Tai Jūsų testų rinkinys. Jei jį laikote faile ir paleidžiate po kiekvieno pakeitimo, jis tampa testų rinkiniu, kuris modelio atnaujinimą pagauna anksčiau nei klientas.

Kiekvieną klausimą paleiskite per robotą ir kiekvieną atsakymą pažymėkite kaip teisingą, klaidingą ar teisingai atsisakytą. Padarykite tai prieš pataisymą, kad turėtumėte atskaitos tašką, po pataisymo, kad įrodytumėte, jog jis suveikė, ir vėl po kiekvieno pakeitimo: naujo dokumento, instrukcijos redagavimo, modelio versijos atnaujinimo. Be testų kiekvienas pakeitimas yra loterija, o modelio atnaujinimas gali tyliai pakeisti kokybę į bet kurią pusę, ir pirmas tai pastebės klientas. Su testų rinkiniu suprastėjimą pamatysite tą pačią dieną, konkrečiu skaičiumi.

Tai viena skaičiuoklė ir viena popietė.

Taisyti ar kurti iš naujo

Nuo atsakymo priklauso Jūsų biudžetas, todėl štai mūsų vertinimo tvarka paprastais žodžiais. Jei robotas turi žinių bazę, bet dokumentai prastai suskaidyti, nėra atsisakymo kelio arba instrukcija skatina improvizuoti, sprendimo architektūra tinkama ir dirbti reikia tik su konfigūracija; tai nedidelis taisymas, 700-1 400 €, paprastai atliekamas per 2-5 dienas. Jei paiešką reikia pridėti ar perdaryti, šablonus sujungti su realiais duomenimis ir sukurti testų rinkinį, tai standartinis taisymas už 1 400-3 700 € per 1-2 savaites.

Perkūrimas už 3 700-9 200 € pagrįstas tik tada, kai platforma visai nepalaiko paieškos ar struktūrinių atsakymų, o taip būna su kai kuriais pokalbių robotų kūrimo be kodo įrankiais, kurie leidžia keisti tik instrukcijos tekstą ir nieko daugiau. Tokiu atveju aukščiau pateikti patarimai nepadės, nes nėra ką konfigūruoti. Jei kas nors rekomenduoja kurti iš naujo neįvardydamas konkrečios trūkstamos galimybės, paprašykite ją įvardyti. Bendresnė šio sprendimo versija su kainų intervalais pateikta straipsnyje kada sugedusią AI sistemą taisyti, o kada kurti iš naujo.

Jei prieš išleisdami pinigus norite aiškumo, atliekame raštišką diagnostiką už 450 €. Per dvi darbo dienas gaunate dokumentą, kuriame parodyta, iš kur kyla klaidingi Jūsų roboto atsakymai, pradinius testų rezultatus ir fiksuotą kainą, o ši suma įskaitoma į taisymo kainą. Daugiau informacijos rasite mūsų taisymo paslaugos puslapyje, arba atsiųskite mums pokalbio, kuriame robotas klysta, išrašą.