Kirjoittaja: Vectura Solutions Oy · Data-analytiikan ja raportoinnin toteutuksia vuodesta 2018.
Aihe: Koneoppiminen
Oppaan ydinkohdat
- Aiheen luokittelu ja sävyanalyysi vastaavat eri kysymyksiin. Samassa palautteessa voi olla useita aiheita ja eri kohteisiin liittyviä sävyjä.
- Arvioikaa laatua yrityksen omalla kielellä ja tekstityypeillä sekä erikseen tärkeissä luokissa.
- Tulokset kannattaa liittää käsittelyjonoon tai raportointiin niin, että ihmisen tarkistus ja korjaukset ovat osa työnkulkua.
Mitä tekstien luokittelu ja sävyanalyysi tarkoittavat?
Tekstin luokittelu yhdistää sisällön sovittuihin aiheisiin tai tyyppeihin. Asiakaspalautteen aiheita voivat olla esimerkiksi toimitus, laskutus ja tuotteen käyttö. Dokumenttiluokittelu voi puolestaan erottaa sopimuksen, tilausvahvistuksen ja muun aineiston toisistaan.
Sävyanalyysi arvioi tekstissä ilmaistua sävyä, esimerkiksi myönteisyyttä tai kielteisyyttä. Se ei ole suora mittaus kirjoittajan tyytyväisyydestä tai tilanteen kiireellisyydestä. Kielteinen viesti voi kuvata toisen osapuolen kokemusta, ja asiallisesti kirjoitettu palaute voi koskea vakavaa ongelmaa.
Kuvitteellinen palaute ”Toimitus myöhästyi, mutta asiakaspalvelu hoiti asian hyvin” sisältää kaksi aihetta ja eri kohteisiin liittyviä sävyjä. Yksi koko tekstin pistemäärä voi peittää tämän eron. Sopikaa, arvioidaanko koko dokumenttia vai erikseen mainittuja aiheita.
Valitkaa yksi työvaihe, jota haluatte parantaa
Hyvä ensimmäinen käyttökohde on toistuva lajittelutehtävä, jonka nykyinen tapa tunnetaan. Tavoitteena voi olla palautteen ohjaaminen oikealle tiimille, aineiston aiheen tunnistaminen tai usein toistuvien ongelmien kokoaminen raporttiin.
Kirjatkaa, mitä käyttäjä tekee tuloksen perusteella. Automaattinen luokittelu voi ehdottaa käsittelyjonoa, mutta kiireellisyys voi tarvita omat säännöt ja ihmisen arvion. Raportointia varten puolestaan pitää säilyttää tieto myös luokittelematta jääneistä teksteistä.
Vecturan kokemukseen kuuluu sisällön luokittelua ja sävyanalyysiä toimituksellisessa työssä. Sama työvaiheiden ja laadun arvioinnin periaate soveltuu myös muihin aineistoihin, mutta luokat ja hyväksyttävä virhetaso määritellään aina kyseiseen käyttötarkoitukseen.
Määritelkää luokat ja epäselvien tapausten käsittely
Kirjoittakaa jokaiselle luokalle määritelmä, esimerkkitapaukset ja rajaus lähimpiin luokkiin. Jos kaksi asiantuntijaa luokittelee saman aineiston eri tavoin, selvittäkää ensin ohjeen epäselvyys. Mallin arvio ei ole luotettava, jos vertailuvastauksista ei olla samaa mieltä.
Päättäkää, voiko teksti saada yhden vai useita luokkia. Useita aiheita sisältävää asiakaspalautetta voi olla tarpeen käsitellä useita aihetunnisteita sisältävänä tuloksena, jossa sama dokumentti kuuluu esimerkiksi sekä toimitukseen että asiakaspalveluun. Yhteen luokkaan pakottaminen voi hukata tietoa.
Varatkaa omat tilat muulle aiheelle, riittämättömälle tiedolle ja käsittelyvirheelle. Tyhjä dokumentti tai epäonnistunut tiedoston luku ei ole onnistunut neutraalin sävyn luokitus. Luokkien muutokset versioidaan, jotta raporttien ajallinen vertailu säilyy ymmärrettävänä.
- Aihe: mistä tekstissä puhutaan ja voiko aiheita olla useita?
- Kohde ja sävy: mihin asiaan arvio liittyy ja ilmaistaanko sekä myönteisiä että kielteisiä näkemyksiä?
- Jatkotoimi: ehdotetaanko käsittelyjonoa, näytetäänkö tulos raportilla vai tarvitaanko ihmisen tarkistus?
Valitkaa menetelmä ja testatkaa suomenkielinen aineisto
Yksinkertaisia tapauksia voidaan käsitellä avainsanoilla tai säännöillä. Opetettu luokittelumalli voi oppia yrityksen omista esimerkeistä, ja kielimallille voidaan antaa luokkien määritelmät sekä esimerkkivastauksia. Menetelmät vertaillaan samalla arviointiaineistolla ja samoilla laatukriteereillä.
Oman mallin opettaminen ja valmiin kielimallin ohjeistaminen ovat eri asioita. Ohjeen tai esimerkkien antaminen ei tavallisesti päivitä valmiin mallin painoja. Käytettävä menetelmä, ohjeversio ja mahdolliset palvelun muutokset on silti tallennettava tulosten jäljitettävyyttä varten.
Kielituki tarkistetaan valitulle toiminnolle, ei pelkästään palvelun nimelle. Esimerkiksi valmiissa rajapinnassa luokittelun ja sävyanalyysin tukemat kielet voivat erota toisistaan. Suomenkieliset taivutusmuodot, toimialasanasto, lyhenteet ja monikieliset viestit testataan omilla esimerkeillä.
Arviointijoukkoon kannattaa ottaa myös kieltoja, ironiaa, lainattua puhetta ja ristiriitaista palautetta. Mallin toimivuutta yksittäisessä lyhyessä esimerkissä ei pidä yleistää kaikkiin yrityksen teksteihin.
Arvioikaa sekä laatua että säästyvää työtä
Kootkaa asiantuntijoiden tarkistama arviointiaineisto, jossa on tavallisia ja vaikeita tapauksia. Pitäkää lopullinen testi erillään mallin opetuksesta ja ohjeiden hienosäädöstä. Samasta keskusteluketjusta peräisin olevat lähes samanlaiset viestit eivät saa vuotaa harjoittelusta testiin.
Tarkastelkaa tuloksia luokittain. Precision kertoo, kuinka suuri osa tiettyyn luokkaan annetuista tuloksista oli oikein. Recall kertoo, kuinka suuri osa luokkaan oikeasti kuuluvista tapauksista löydettiin. Pelkkä kaikkien oikeiden vastausten osuus voi peittää harvinaisen mutta tärkeän luokan huonon tunnistamisen.
Mitatkaa myös kokonaiskäsittelyaikaa. Luokittelun nopeutuminen ei säästä työtä, jos virheiden korjaamiseen kuluu enemmän aikaa. Kirjatkaa tarkistettavaksi siirrettyjen tapausten osuus, korjausten määrä ja palvelun käyttökulut.
Jos malli antaa varmuusluvun, arvioikaa sen yhteys virheisiin omassa aineistossa ennen raja-arvon valintaa. Erityisesti kielimallin itse ilmoittama varmuus ei sellaisenaan ole kalibroitu todennäköisyys. Tarkistustarve voidaan määritellä myös puuttuvasta tiedosta, ristiriitaisista luokista tai sovituista sisältötyypeistä.
Liittäkää tulos nykyiseen työnkulkuun
Toteutus alkaa aineiston poiminnasta esimerkiksi asiakaspalvelujärjestelmästä tai dokumenttivarastosta. Sen jälkeen tarkistetaan tekstin saatavuus, kieli ja soveltuvuus käsittelyyn, tehdään luokittelu ja validoidaan tuloksen rakenne. Kuvamuotoinen dokumentti voi vaatia tekstintunnistuksen, jonka virheet pitää ottaa huomioon arvioinnissa.
Rajapinnasta palautuneen tuloksen pitää noudattaa sovittuja kenttiä ja luokkia. Virheellinen rakenne tai tuntematon luokka ohjataan tarkistukseen. Säilyttäkää dokumenttiavain, käsittelyajankohta, malli- ja ohjeversio sekä tieto mahdollisesta korjauksesta.
Käsiteltävä teksti on aineistoa, ei järjestelmän toimintaohje. Kielimalliin perustuvassa ratkaisussa esimerkiksi viestiin kirjoitettu pyyntö vaihtaa luokkia ei saa ohittaa sovittua tehtävää tai käynnistää muita toimintoja. Mallin tehtävä kannattaa rajata luokittelutuloksen tuottamiseen; sovellus päättää hyväksytystä jatkotoimesta.
Vectura voi toteuttaa poiminnan, käsittelyvaiheen, tarkistusnäkymän ja integraation nykyiseen sovellukseen. Koostetut aiheet ja sävyt voidaan tuoda BI-raportointiin samalla, kun yksittäisten tekstien näkyvyys rajataan niitä tarvitseville käyttäjille.
Välttäkää harhaanjohtavat tulkinnat raportoinnissa
Näyttäkää aiheiden ja sävyjen rinnalla käsiteltyjen tekstien määrä, aineiston lähde sekä luokittelematta tai tarkistettavaksi jääneiden osuus. Jos aineistoon tulee uusi palautekanava, havaittu sävymuutos voi johtua kanavan käyttäjistä eikä palvelun laadun muutoksesta.
Jos dokumentti voi saada useita aiheita, aihekohtaisten lukujen summa voi ylittää dokumenttien määrän. Tämä pitää tehdä raportissa selväksi. Myös luokittelun ohje- tai malliversion vaihtuminen merkitään, jotta mittarin muutos ei sekoitu liiketoiminnan muutokseen.
Palautetta antaneet eivät välttämättä edusta kaikkia asiakkaita. Raportti kertoo kerätystä aineistosta ja sen tulkinnasta, joten tuloksia tarkastellaan muiden asiakaskokemuksen mittarien rinnalla.
Aloittakaa pilotista, jolla on selkeä jatkopäätös
Ensimmäinen pilotti voidaan rajata yhteen palautekanavaan, kieleen ja luokittelutehtävään. Sovitaan arviointijoukko, laatukriteerit ja se, kuinka paljon ihmisen tarkistusta työnkulku kestää. Luottamuksellisen aineiston käsittelypaikka, käyttöoikeudet ja palveluehdot käydään läpi ennen aineiston siirtämistä.
Pilotin tuloksista päätetään, mitä automatisoidaan ja mitkä tapaukset käsitellään edelleen asiantuntijan avulla. Tuotannossa seurataan uusia tekstityyppejä, luokkien jakaumia, korjauksia ja käsittelykustannuksia. Mallin tai ohjeen muutos arvioidaan ennen käyttöönottoa sovitulla testiaineistolla.
Haluatteko vähentää tekstiaineiston käsin tehtävää lajittelua?
Vectura arvioi aineiston, määrittelee luokittelun käyttötapauksen ja toteuttaa kokeilun sovituilla laatukriteereillä. Ensimmäinen keskustelu on maksuton.
Keskustellaan toteutuksesta