Kirjoittaja: Vectura Solutions Oy · Data-analytiikan ja raportoinnin toteutuksia vuodesta 2018.
Aihe: Koneoppiminen
Oppaan ydinkohdat
- Rajattu pilotti vastaa yhteen päätökseen: tuoko valittu menetelmä riittävästi hyötyä, jotta sen käyttöönottoon kannattaa edetä?
- Budjettiin kuuluvat asiantuntijatyö, pilvi- ja palvelukulut sekä oman organisaation osallistuminen. Tuotantoon vienti arvioidaan erikseen.
- Pilotista pitää jäädä toteutuksen lisäksi vertailukelpoiset tulokset, tiedossa olevat rajoitukset ja perusteltu jatkoehdotus.
Miksi pilotille ei ole yhtä yleistä hintaa?
Valmiista BigQuery-taulusta tehtävä yhden mittarin ennustekokeilu on eri työ kuin useiden järjestelmien tiedot yhdistävä asiakaspoistumamalli. Jälkimmäisessä aikaa voi kulua tunnisteisiin, historiallisiin asiakastietoihin ja oikeiden opetusvastausten muodostamiseen ennen ensimmäistäkään mallia.
Rajaus määrittää, mitä tarjouksen hinta kattaa. Kiinteä hinta voi sopia tehtävään, jossa aineisto ja hyväksymiskriteerit tunnetaan. Epäselvässä tilanteessa ensimmäinen toimeksianto voi olla aineiston arviointi ja pilotin suunnitelma. Sen jälkeen varsinainen toteutus voidaan hinnoitella luotettavammin.
Vectura Solutions Oy:n pilotin laajuus ja hinnoittelu sovitaan käyttötapauksen perusteella. Tämä opas kuvaa budjetin rakennetta ja vertailutapaa. Alla oleva työmääräesimerkki on havainnollistava laskelma, ei palveluhinnasto tai lupaus tietyn hankkeen kestosta.
Mihin asiantuntijatyö jakautuu?
Pyytäkää kustannusarvio työvaiheittain. Näin näkyy, perustuuko tarjous valmiiksi oletettuun aineistoon vai sisältyvätkö tiedonsiirrot ja korjaukset työhön. Arvioikaa samalla, mitä nykyisistä dataputkista ja raportointimalleista voidaan käyttää uudelleen.
- Rajaus: päätös tai työvaihe, käyttäjät, nykyinen vertailutaso ja onnistumisen kriteerit.
- Aineiston arviointi ja valmistelu: lähteet, käyttöoikeudet, puuttuvat tiedot, tunnisteet ja tarvittavat historiatiedot.
- Mallikokeilu: sovittu menetelmä, piirteet ja rajattu määrä vertailuja.
- Arviointi: erillinen testiaineisto, virheiden tarkastelu, vertailu nykyiseen tapaan ja käyttäjien palaute.
- Dokumentaatio ja jatkosuunnitelma: toistettavuus, rajoitukset, tulosten käyttö ja tuotantoon viennin arvio.
Liiketoiminnan omistaja osallistuu määrittelyyn ja tulosten tulkintaan. IT auttaa lähteissä ja käyttöoikeuksissa. Nämä panokset eivät välttämättä näy toimittajan laskulla, mutta ne vaikuttavat kokonaiskustannukseen ja kalenteriaikaan.
Esimerkkirajaus ja työmäärän laskentatapa
Kuvitteellinen pilotti ennustaa kahden tuoteryhmän päivittäistä myyntiä. Myyntitiedot ovat jo BigQueryssa ja niiden määritelmät on sovittu. Toimitus sisältää yhden mallimenetelmän, vertailun nykyiseen lähtötasoon ja tulosten läpikäynnin. Uutta lähdejärjestelmäintegraatiota tai jatkuvaa ylläpitoa ei sisällytetä tähän esimerkkirajaukseen.
- Tarpeen rajaus ja lähtötilanteen arviointi: esimerkissä 2 asiantuntijatyöpäivää.
- Aineiston tarkistus ja valmistelu: esimerkissä 4 asiantuntijatyöpäivää.
- Mallikokeilu ja vertailumenetelmä: esimerkissä 3 asiantuntijatyöpäivää.
- Tulosten arviointi käyttäjien kanssa: esimerkissä 2 asiantuntijatyöpäivää.
- Dokumentointi ja jatkoehdotus: esimerkissä 1 asiantuntijatyöpäivä.
Yhteensä tämä laskentaesimerkki on 12 asiantuntijatyöpäivää. Työn kustannus lasketaan sovitulla veloitusperusteella; päiväveloitusta käytettäessä se on 12 kertaa sovittu päivähinta. Lisäksi huomioidaan erikseen arvioidut palvelukulut ja oman tiimin työ. Todellinen arvio voi muuttua olennaisesti, jos lähtötiedot vaativat korjauksia.
Työpäivien määrä ei ole suoraan kalenterikesto. Käyttöoikeuksien odotus, käyttäjien aikataulut ja tarvittavien toteumien kertyminen voivat pidentää hanketta. Sopikaa, kuka toimittaa aineiston ja milloin päätöksiä tarvitaan.
Mitä pilotista pitäisi jäädä yritykselle?
Pilotin tulos on päätöksenteon aineisto. Pelkkä näyttävä kaavio tai yksi tarkkuusluku ei kerro, miten ratkaisu toimi eri tilanteissa tai mitä sen käyttöönotto edellyttää. Sopikaa toimitukset niin, että oma tiiminne pystyy ymmärtämään ja tarvittaessa jatkamaan työtä.
- Käyttötapauksen määrittely, aineistorajaus ja dokumentoidut oletukset.
- Sovittu lähdekoodi, SQL-kyselyt, mallimääritykset ja tarvittavat ajoympäristön ohjeet.
- Kuvaus opetus-, arviointi- ja testiaineistosta sekä niiden ajallisista rajoista.
- Vertailu nykyiseen tapaan tai yksinkertaiseen lähtötasoon samoilla kriteereillä.
- Virheiden, epävarmuuden ja tunnettuja rajoituksia aiheuttavien tilanteiden tarkastelu.
- Arvio tuotantoon viennistä, käyttökuluista, ylläpidosta ja tarvittavasta osallistumisesta.
- Perusteltu ehdotus jatkamisesta, rajauksen muuttamisesta tai kokeilun päättämisestä.
Sopikaa omistajuus, käyttöoikeudet ja luovutustapa ennen työn aloittamista. Jos arvioinnissa käytetään asiakkaan luottamuksellista aineistoa, määritellään sen käsittelypaikka, pääsyoikeudet ja säilytys osana toteutusta.
Sopikaa onnistuminen ennen mallin rakentamista
Valitkaa mallin laatua kuvaava mittari ja erikseen toiminnallinen hyöty. Ennusteessa mallin virhettä voidaan verrata viimeiseen tunnettuun viikkoon. Liidipisteytyksessä voidaan arvioida, löytyykö samalla käsittelymäärällä enemmän onnistuvia liidejä. Tekstien luokittelussa huomioidaan sekä oikeellisuus että ihmisen korjaustyö.
Hyötyä arvioitaessa käytetään samoja aikajaksoja ja kustannusten määritelmiä. Vapautuva työaika voi lisätä kapasiteettia ilman, että palkkakulut suoraan pienenevät. Lisämyynnin arvioinnissa huomioidaan myös kate ja toimenpiteen kustannukset. Mallin hyvä ennustetarkkuus ei yksin osoita lisämyynnin syntymistä.
Sopikaa, millä tuloksella jatketaan ja mikä havainto pysäyttää työn. Aineiston riittämättömyyden tai vähäisen lisähyödyn osoittaminen voi olla pilotin käyttökelpoinen lopputulos, jos se estää suuremman perusteettoman investoinnin.
Pilvikulut ja työmäärä ovat eri kustannuksia
BigQuery-toteutuksessa kustannuksia voi syntyä tiedon tallentamisesta ja käsittelystä, mallin opettamisesta sekä tulosten laskennasta. Hinnoittelutapa riippuu käytetyistä palveluista, mallityypistä ja ympäristön laskutusmallista. Kielimallia käyttävä tekstien käsittely voi lisäksi tuottaa kyseisen mallipalvelun käyttöveloituksia.
Arvioikaa pilotille rajattu aineisto, kokeilujen määrä ja käyttöjakso. Mallin toistuva opettaminen, useiden vaihtoehtojen vertailu ja suuri määrä aikasarjoja vaikuttavat kuluihin. Tuotannossa mukaan tulevat myös raportoinnin kyselyt, ajastukset, lokit ja mahdolliset muut pilvipalvelut.
Seuraakaa kulutusta toteutuksen aikana ja tarkentakaa arvio todellisten ajojen perusteella. Budjettihälytys ilmoittaa kulutuksesta; sitä ei pidä pitää automaattisena palvelun pysäytyksenä. Sopikaa tarvittavat käyttörajat ja se, kuka reagoi poikkeamaan.
Tuotantoon vienti ja ylläpito arvioidaan omana kokonaisuutenaan
Pilotissa voidaan ajaa laskenta käsin ja käydä tulokset läpi asiantuntijan kanssa. Jatkuva käyttö tarvitsee toistuvan tietovirran, laadun tarkistukset, ajastukset ja häiriötilanteiden käsittelyn. Käyttäjälle pitää myös kertoa, jos tulos on vanhentunut tai puuttuu.
Käyttöönoton kustannuksiin vaikuttaa erityisesti tuloksen käyttötapa. Päivittäin päivittyvä ennustetaulu ja raportti ovat eri kokonaisuus kuin sovellukseen liitetty palvelu, jonka pitää vastata jokaiseen käyttäjän pyyntöön sovitussa ajassa. Myös käyttöoikeudet, käyttäjien perehdytys ja ympäristön julkaisukäytännöt kuuluvat suunnitelmaan.
Ylläpidossa seurataan teknistä toimintaa, mallin laatua ja kustannuksia. Sopikaa mallin päivitykset, lähdejärjestelmien muutosten käsittely sekä vastuut havaintojen selvittämisestä. Verratkaa vaihtoehtoja esimerkiksi ensimmäisen käyttövuoden kokonaiskustannuksella: pilotti, tuotantoon vienti, palvelukulut, ylläpitotyö ja oman organisaation osallistuminen.
Mitä tarjouspyyntöön kannattaa kirjoittaa?
Tarjouspyyntö voi kuvata liiketoiminnan tarpeen ilman valmista mallivalintaa. Hyvä lähtöaineisto auttaa toimittajaa arvioimaan työn laajuuden ja tunnistamaan epävarmat kohdat. Pyytäkää tarjoukset samalla rajauksella ja tarkistakaa, miten aineiston puutteet tai muutokset käsitellään.
- Mitä päätöstä tai työvaihetta haluatte parantaa ja miten se tehdään nykyisin?
- Mikä on ensimmäinen rajattu käyttötapaus, käyttäjäryhmä ja tavoiteltu aikataulu?
- Missä tiedot ovat, miltä ajalta niitä löytyy ja miten niiden laatu on tarkistettu?
- Miten oikea lopputulos tai vertailutaso voidaan muodostaa ja milloin se on tiedossa?
- Mitä raporttia, integraatiota tai dokumentaatiota toimitukseen odotetaan?
- Ketkä omasta organisaatiosta osallistuvat ja kuka hyväksyy tulokset?
- Mitkä ovat datan käsittelyyn, käyttöympäristöön ja jatkokehitykseen liittyvät ehdot?
Vectura Solutions Oy voi aloittaa käyttötapauksen ja aineiston kartoituksesta, toteuttaa rajatun pilotin ja jatkaa sovittuun tuotantototeutukseen. Dataputket, Google Cloud, koneoppiminen ja raportointi voidaan sisällyttää samaan suunnitelmaan. Maksuttomassa ensimmäisessä keskustelussa täsmennetään tarvetta; laajempi aineistojen arviointi ja kirjallinen suunnitelma sovitaan erikseen.
Haluatteko arvion sopivasta koneoppimispilotista?
Kertokaa tavoitteesta, käytettävissä olevista tiedoista ja siitä, mitä pilotin jälkeen pitäisi pystyä päättämään. Vectura Solutions Oy auttaa rajaamaan työn ja arvioimaan toimituksen laajuuden. Ensimmäinen keskustelu on maksuton.
Keskustellaan toteutuksesta