Atvejis · · 5 min. skaitymo · Lurto
DI administratorių pirmiausia išbandėme savo pačių telefono linijoje: kas sugedo
Trumpas atsakymas
Sukūrėme balso administratorių ir nukreipėme į jį savo verslo numerį dar prieš siūlydami tokį sprendimą klientams, kad kiekvienas gedimas pirmiausia paliestų mus. Jis atsiliepia bet kuriuo paros metu, registruoja vizitus į tikrą kalendorių, įrašo skambinantįjį į CRM ir ryte palieka santrauką. Iš jo išmokome du dalykus. Antrą savaitę jis tą patį laiką užregistravo dviem žmonėms, nes laisvumas buvo tikrinamas devyniasdešimt sekundžių prieš įrašymą. O mūsų testavimo įrankis kartą vertino agentą pagal transkripciją, kurios agentas niekada negirdėjo, todėl geriau įvertintas pakeitimas iš tikrųjų skambučius pablogino.
Santechniko telefonas suskamba 18:40. Jis tuo metu guli po kriaukle. Skambutis nukeliauja į balso paštą, skambinantysis žinutės nepalieka ir skambina kitam meistrui. Tas užsakymas būtų atnešęs daugiau nei visas likęs vakaras, o santechnikas net nesužinojo, kad jo neteko. Tai dažniausia problema, su kuria į mus kreipiasi meistrų ir paslaugų įmonės. Prieš siūlydami sprendimą klientams, norėjome jį išbandyti linijoje, kurioje klaidos kainuotų mums, o ne klientui.
Todėl sukūrėme administratorių ir nukreipėme į jį savo verslo numerį. Nuo tada jis kasdien atsiliepia šia linija, o JAV smulkiajam verslui šį balso produktą dabar parduodame pavadinimu Rinqly. Čia aprašome, kaip jį kūrėme, ir neslepiame nesėkmių.
Ką jis daro
Jis atsiliepia telefonu bet kuriuo paros metu, kalbasi su skambinančiuoju, registruoja vizitą į tikrą kalendorių, įrašo skambinantįjį į CRM ir kitą rytą palieka laukiančią santrauką. Jis taip pat aptarnauja svetainės pokalbių langą, skambina išeinančius skambučius, kur to reikia, ir jungiasi prie įrankių, kuriuos mažos įmonės jau naudoja, tarp jų Zapier, HubSpot, Pipedrive, GoHighLevel ir ActiveCampaign. Mokėjimai pagal naudojimą vyksta per Stripe. Bet įdomiausia ne tai.
Kodėl pirmiausia išbandėme jį savo linijoje
Balso demonstraciją padaryti lengva: įrašytas pokalbis tylioje patalpoje, draugiškas scenarijus, kantrus skambinantysis. Tikra telefonija visai kitokia. Skambinantieji pertraukia, persigalvoja sakinio viduryje, skambina iš furgono atidarytu langu, prašo laiko, kuris buvo užimtas, kol jie diktavo savo vardą, ir padeda ragelį, jei linijoje dvi sekundes tvyro tyla. Sistema, kuri su tuo susitvarko, labai skiriasi nuo sistemos, kuri gerai atrodo demonstracijoje. Vienintelis mums žinomas būdas tą skirtumą rasti yra priimti tikrus skambučius ir analizuoti, kas nepavyko.
Kai sistema veikė mūsų numeriu, kiekvienas gedimas pirmiausia palietė mus. Būtent to ir siekėme.
Kaip jis sukurtas
Modelis girdi skambinantįjį ir atsako tiesiogiai, be tarpinių transkripcijos ir balso sintezės žingsnių, todėl pertraukimai ir pasitaisymai skamba natūraliai. Garso perdavimą užtikrina LiveKit, telefoniją Twilio, o modelis yra OpenAI realaus laiko garso modelis. Aplink jį esanti programa sukurta su Next.js. Speech-to-speech modelį vietoj pigesnės pakopinės schemos (kalbos atpažinimas, kalbos modelis, balso sintezė) pasirinkome sąmoningai, nors esant mūsų skambučių kiekiui tai kainuoja maždaug devynis eurus per mėnesį daugiau. Pakopinei schemai reikia papildomų 300 milisekundžių pastebėti, kad skambinantysis pradėjo kalbėti, o toks strigimas ir yra priežastis, dėl kurios žmonės padeda ragelį. Visas skaičiavimas, kiek kiekviena dalis kainuoja per minutę, pateiktas straipsnyje kiek kainuoja AI balso agentas.
Nuolat veikia parengties kopija, nesvarbu, ar telefonas skamba, ar ne. Jei agentą išjungtume, kai skambučių nėra, sutaupytume, bet jis būtų paleidžiamas iš naujo jau skambant telefonui, o skambinantysis laukti sutinka maždaug dvi sekundes. Tai fiksuoti mėnesio kaštai, kurių skaičiavimas pagal minutes niekada neparodo, ir mes juos mokame.
Antra savaitė: du žmonės tuo pačiu laiku
Antrą savaitę du skambučiai pasiekė kalendorių per tą pačią sekundę. Abiem skambinantiesiems pasakyta, kad laikas laisvas, abu į jį užregistruoti, ir du žmonės atvyko į tą patį vizitą. Instrukcijose modeliui (prompt) klaidų nebuvo. Sistema patikrino laisvumą registracijos pradžioje, devyniasdešimt sekundžių rinko vardą ir numerį, tada įrašė vizitą į anksčiau patikrintą laiką. Laikas tuo metu nebuvo užrakintas.
Sprendimas: dar kartą patikrinti laiką įrašymo metu, atsakymą „laikas užimtas“ laikyti įprasta pokalbio dalimi ir pasiūlytą laiką laikinai rezervuoti, kad pokalbio pabaigoje rezervaciją būtų galima patvirtinti arba atšaukti. Šį atvejį įtraukėme į nuolatinius testus, ir nuo tada kalendoriaus užrakinimo patikra vykdoma prieš kiekvieną diegimą. Kiti keturi būdai, kaip balso sistemos genda per tikrus skambučius, aprašyti straipsnyje kodėl balso agentas nutraukia skambučius ir dvigubai registruoja.
Testas, kuris mus suklaidino
Administratorius turi testų rinkinį: fiksuotą tikrų skambučių scenarijų sąrašą, kuriame prie kiekvieno nurodyta, kaip pokalbį užbaigtų kompetentingas žmogus. Šie scenarijai paleidžiami prieš įdiegiant bet kokį pakeitimą. Tokių testų pirmiausia reikalautume iš bet kurios balso sistemos, ir vis tiek jie mus suklaidino.
Įdiegėme agento pakeitimą, nes testavimo įrankis rodė, kad skambučiai pagerėjo. Iš tikrųjų jie pablogėjo, ir tą pačią dieną pakeitimą atšaukėme. Klaida buvo ta, kad vertinome ne tą transkripciją. Įrašus transkribuodavome patys, kitu kalbos atpažinimo modeliu nei tas, per kurį agentas girdi pokalbį, todėl vertinome agentą pagal žodžius, kurių jis niekada negirdėjo. Kai įrankis pradėjo vertinti pagal paties agento transkripciją, pagerėjimas dingo, o regresija išryškėjo. Pasikliauti vien įspūdžiu negalima, bet ir svetima transkripcija gali suklaidinti. Kaip sukurti testus, kurie neklaidina, aprašyta straipsnyje verslo automatizacijų testavimas.
Ant ko dabar kuriame klientų balso sistemas
Kiekvienas balso agentas, kurį kuriame klientui, veikia šioje infrastruktūroje: tas pats garso perdavimas, ta pati telefonija, tas pats testavimo įrankis, tas pats kalendoriaus užrakinimas, ta pati parengties kopija. Visos paskyros priklauso klientui, už paslaugų naudojimą mokama tiekėjų kainomis be mūsų antkainio, o klaidas per pirmąsias trisdešimt dienų taisome mes. Paprasčiausia kliento sistema dažniausiai apima vieną kalendorių ir žinučių priėmimą, o sudėtingiausia skambučių nukreipimą į kelias vietas, įrašus į CRM ir išeinančius perskambinimus. Kainų intervalai pateikti kainų puslapyje.
Yra du atvejai, kai individuali sistema nereikalinga. Jei Jūsų įmonė per dieną sulaukia vos kelių skambučių, geras balso pašto pranešimas ir perskambinimas tą pačią dieną pasitarnaus geriau nei bet kas, apie ką rašoma šiame straipsnyje. O jei skambučiai paprasti ir dar nežinote, ko klausia Jūsų skambinantieji, geresnis pasirinkimas yra šabloninė prenumerata už maždaug 45-300 € per mėnesį (perskaičiuota eurais apytiksliai: 1 $ ≈ 0,92 €): per šešiasdešimt dienų pamatysite tikrąjį skambučių kiekį ir vietas, kur scenarijus nesusitvarko. Geriau tai pasakysime iš karto, nei parduosime individualią sistemą tam, kam pakanka prenumeratos.
Dažnai užduodami klausimai
Kodėl speech-to-speech modelis, o ne pigesnė pakopinė schema?
Modelis girdi skambinantįjį ir atsako tiesiogiai, be tarpinių transkripcijos ir balso sintezės žingsnių, todėl pertraukimai ir pasitaisymai sakinio viduryje skamba natūraliai. Esant mūsų skambučių kiekiui, tai kainuoja maždaug devynis eurus per mėnesį daugiau. Pakopinei schemai reikia papildomų 300 milisekundžių pastebėti, kad skambinantysis pradėjo kalbėti, o toks strigimas ir yra priežastis, dėl kurios žmonės padeda ragelį.
Kaip jis du kartus užregistravo tą patį laiką?
Klasikinė klaida: laikas patikrinamas vienu metu, o įrašomas vėliau. Sistema patikrino laisvumą registracijos pradžioje, devyniasdešimt sekundžių rinko vardą ir numerį, tada įrašė vizitą į anksčiau patikrintą laiką, o laikas tuo metu nebuvo užrakintas. Sprendimas: dar kartą patikrinti laiką įrašymo metu, atsakymą „laikas užimtas“ laikyti įprasta pokalbio dalimi ir pasiūlytą laiką laikinai rezervuoti. Šį atvejį įtraukėme į nuolatinius testus, ir nuo tada ši patikra vykdoma prieš kiekvieną diegimą.
Kaip testų rinkinys gali suklaidinti?
Įdiegėme pakeitimą, nes testavimo įrankis rodė, kad skambučiai pagerėjo. Iš tikrųjų jie pablogėjo, ir tą pačią dieną pakeitimą atšaukėme. Klaida buvo ta, kad vertinome ne tą transkripciją: įrašus transkribuodavome patys kitu kalbos atpažinimo modeliu nei tas, per kurį agentas girdi pokalbį, todėl vertinome agentą pagal žodžius, kurių jis niekada negirdėjo. Kai įrankis pradėjo vertinti pagal paties agento transkripciją, pagerėjimas dingo, o regresija išryškėjo.
Kokių kaštų niekada neparodo skaičiavimas pagal minutes?
Nuolat veikiančios parengties kopijos, nesvarbu, ar telefonas skamba, ar ne. Jei agentą išjungtume, kai skambučių nėra, sutaupytume, bet jis būtų paleidžiamas iš naujo jau skambant telefonui, o skambinantysis laukti sutinka maždaug dvi sekundes. Tai fiksuoti mėnesio kaštai, ir mes juos mokame.
Ar balso agentas tinka mažai įmonei?
Ne visada. Jei Jūsų įmonė per dieną sulaukia vos kelių skambučių, geras balso pašto pranešimas ir perskambinimas tą pačią dieną pasitarnaus geriau nei bet kas, ką galėtume sukurti. O jei skambučiai paprasti ir dar nežinote, ko klausia Jūsų skambinantieji, geresnis pasirinkimas yra šabloninė prenumerata už maždaug 45-300 € per mėnesį: per šešiasdešimt dienų pamatysite tikrąjį skambučių kiekį ir vietas, kur scenarijus nesusitvarko.
Daugiau atvejų
Jūsų sistema veikia ne taip, kaip turėtų?