Tunnetuin kauhutarina lienee Air Canadan tapaus: yhtiön chatbotti lupasi matkustajalle alennuksen, jota ei ollut olemassa, ja tuomioistuin määräsi yhtiön pitämään botin antaman lupauksen. Botti ei valehdellut ilkeyttään — se teki sen, mitä kielimallit tekevät, kun niitä ei rajoiteta.
Kielimalli täydentää, se ei tiedä
Kielimalli tuottaa todennäköisimmän jatkon tekstille. Kun asiakas kysyy "onko teillä ilmainen palautus?", malli ei hae vastausta mistään — se arvioi, miltä uskottava vastaus näyttäisi. Jos koulutusdatassa useimmat verkkokaupat tarjoavat ilmaisen palautuksen, botti vastaa myöntävästi. Sinun palautusehdoillasi ei ole väliä, ellei niitä ole annettu mallille.
Tämä on tärkein asia, joka chatbotin hankkijan kannattaa ymmärtää: ilman rajausta botti vastaa aina, ja itsevarmasti. Väärä vastaus näyttää täsmälleen samalta kuin oikea.
Kolme keinoa, joilla vastaukset pysyvät aisoissa
1. Vastaukset vain omista lähteistä
Toimiva ratkaisu on antaa mallille jokaisen kysymyksen yhteydessä ne dokumentit, joista vastaus saa tulla — ja ohjeistaa, että muuhun ei saa nojata. Helpparibotissa tämä tarkoittaa tietopankkia: botti indeksoi sivustosi sisällön ja vastaa sen perusteella. Jokainen vastaus syntyy siitä, mitä sivuillasi, ohjeissasi tai hinnastossasi oikeasti lukee.
2. "En tiedä" on sallittu vastaus
Botin pitää tunnistaa tilanne, jossa lähteistä ei löydy vastausta. Silloin oikea toiminto ei ole arvaus vaan siirto: Helpparibotti ohjaa kysymyksen ihmiselle, kerää asiakkaan yhteystiedot ja lähettää keskustelun tukitiimille sähköpostiin. Asiakas saa vastauksen — hitaammin, mutta oikean.
3. Ajantasainen tieto, ei kuukausia vanha kopio
Hallusinaation sukulainen on vanhentunut tieto. Jos botin tietopankki on kertaluonteinen kopio sivustosta, se alkaa valehdella siinä vaiheessa, kun hinnasto muuttuu. Siksi tietolähteet kannattaa pitää automaattisesti ajan tasalla: Helpparibotti indeksoi sivuston uudelleen säännöllisesti, ja hintakysymyksissä se tarkistaa lähdesivut tuoreeltaan.
Miten tämän voi todentaa itse
Kun arvioit mitä tahansa chatbottia, kokeile kolmea kysymystä:
- Kysy jotain, mihin sivustosi ei vastaa. Hyvä botti myöntää sen ja ohjaa eteenpäin. Huono keksii vastauksen.
- Kysy hintaa, ja muuta sitten hinnastoa. Kuinka nopeasti botin vastaus päivittyy?
- Kysy samaa asiaa kolmella eri tavalla. Vastausten pitää perustua samaan lähteeseen, ei vaihdella kysymysmuodon mukaan.
Botin arvo ei ole siinä, että se vastaa aina — vaan siinä, että sen vastauksiin voi luottaa. Loput kysymyksistä kuuluvat ihmiselle, ja hyvä botti tietää eron.